II.3Рефакторинг, миграция и модернизация

Mixtral SlimOrca 8X7B — языковая модель для генерации текста, разработанная OpenOrca и представленная TheBloke в формате GGUF с квантованием. Модель основана на Mixtral-SlimOrca-8x7B и обучена с использованием набора данных Open-Orca/SlimOrca. Она предназначена для диалоговых сценариев и других задач генерации текста, включая локальный запуск через совместимые инструменты. Модель относится к архитектуре Mixtral и имеет конфигурацию 8x7B; точный размер активируемой части, поддерживаемые языки и максимальная длина контекста в README не указаны. Для взаимодействия используется шаблон ChatML с системными и пользовательскими сообщениями. GGUF-файлы доступны в вариантах квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти и качеством; рекомендован вариант Q4_K_M как сбалансированный. К сильным сторонам относятся возможность запуска на CPU и совместимых GPU, несколько уровней квантования и поддержка llama.cpp, KoboldCpp, LM Studio и llama-cpp-python при указанных в README версиях. Ограничения включают заметную потерю качества у наиболее агрессивных вариантов квантования, высокие требования к оперативной памяти у старших вариантов и ограниченную совместимость с другими клиентами. Лицензия модели — Apache 2.0.

Nero-7B-slerp — диалоговая языковая модель на 7,1 млрд параметров, созданная teodortita слиянием Mistral-7B-Instruct-v0.2 и OpenHermes-2.5-Mistral-7B методом SLERP с помощью mergekit. Она предназначена для генерации текста и ответов на инструкции в диалоге; модель принимает текст и выдаёт текст. Архитектура — плотная MistralForCausalLM, контекст — до 32 768 токенов. В README приведены сравнительные результаты на AGIEval, GPT4All, TruthfulQA и Bigbench; Nero показала более высокие значения, чем обе исходные модели, на GPT4All и Bigbench. Эти результаты относятся только к указанным бенчмаркам и не гарантируют качество для конкретных запросов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

OpenThinker3-7B-GGUF — это квантизированная версия текстовой генеративной модели OpenThinker3-7B, разработанной проектом open-thoughts и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения. Модель содержит 7 миллиардов параметров и поддерживает различные варианты представления весов: от BF16 до квантизаций Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов варьируется примерно от 3,5 до 15,2 ГБ, поэтому можно выбрать баланс между качеством, скоростью и требованиями к памяти. Для взаимодействия используется шаблон сообщений с ролями system, user и assistant. Сведения о контекстном окне, языках, мультимодальности и точной архитектуре в README не указаны; по доступным данным это текстовая, а не мультимодальная модель. Сильной стороной являются многочисленные варианты квантизации, включая версии, оптимизированные для экономии памяти и локального запуска, а также применение imatrix при квантизации на базе llama.cpp. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать полноразмерной или высокоточной квантизации по качеству. Модель распространяется по лицензии Apache-2.0. Датасет, указанный для исходной модели, — open-thoughts/OpenThoughts3-1.2M.

Ornith-1.5-35B-A3B-NInfer — производный инференс-артефакт модели Ornith-1.5-35B-A3B, разработанной Ornith AI. Это мультимодальная языковая модель архитектуры Qwen 3.5 Mixture-of-Experts, принимающая текст и изображения. Артефакт предназначен для запуска и обслуживания через движок NInfer, а не является исходным репозиторием модели. Модель содержит 40 слоёв и 256 экспертов, из которых для каждого токена активны 8; эффективный объём активных параметров составляет около 3 млрд при общем классе модели 35B. Используются скрытый размер 2048, GQA с 16 attention- и 2 KV-головами, словарь из 248 320 токенов и контекст до 262 144 позиций. Зрительный энкодер состоит из 27 слоёв. Артефакт включает DFlash-компонент для multi-token prediction и обученную MTP-head, оптимизированную с помощью knowledge distillation. Заявленный язык — английский. Весы упакованы в единый файл размером около 21,22 GiB с групповой смешанной квантизацией Q4, Q5, Q6 и W8; часть тензоров сохранена в BF16. По измерениям из карточки, обученная MTP-head повысила долю принятых черновых токенов с 21,8% до 39,0% и увеличила скорость декодирования примерно на 21,5% в указанной конфигурации RTX 5090 и однопоточном CLI-тесте. Ограничения включают зависимость от движка NInfer, специфичного формата артефакта и доступности соответствующих аппаратных ресурсов; приведённые показатели не являются универсальной гарантией производительности. Базовая модель распространяется по лицензии MIT. Встроенная grafted MTP-head указана как производная от Qwen и распространяется по Apache-2.0, поэтому условия использования следует учитывать для компонентов отдельно.

perplexity-ai/pplx-computer-qwen-3-6-35b-a3b-mlx-20260709 — локальная языковая модель, опубликованная Perplexity и предназначенная для Perplexity Computer. Она используется в сценариях Hybrid Compute на Mac: локально обрабатывает файлы, конфиденциальные сведения и действия на устройстве, тогда как облачная часть системы выполняет поиск, планирование и более сложное рассуждение. Модель доступна в формате MLX для запуска на Apple silicon. Модель относится к семейству Qwen3.6 и имеет 35 млрд параметров при конфигурации с 3 млрд активных параметров (35B-A3B). Для семейства Qwen3.6 указана разреженная hybrid-архитектура с маршрутизацией Mixture-of-Experts, сочетающая рекуррентные состояния фиксированного размера с full attention. Опубликованный checkpoint использует groupwise affine 4-bit quantization и занимает около 19,4–19,5 ГБ. Подтверждённые модальности и языки, размер контекстного окна, результаты оценки и подробности дообучения для данной версии не указаны. Сильные стороны модели — возможность локального выполнения задач с чувствительными данными, уменьшенный объём весов и оптимизация для Apple silicon. Ограничения связаны с необходимостью совместимого Mac на Apple silicon и достаточного объёма unified memory; в Hybrid Compute требуется не менее 24 ГБ, а 32 ГБ рекомендуются для лучших результатов. Лицензионные условия для этого репозитория в доступных первоисточниках явно не указаны, поэтому свободное коммерческое использование и условия перераспределения подтверждать нельзя.

FiditeNemini/Qwen2.5-14B-DeepSeek-R1-1M-Uncensored — объединённая модель на 14 млрд параметров, созданная с помощью mergekit и метода TIES на основе mkurman/Qwen2.5-14B-DeepSeek-R1-1M с включением huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2. Она использует архитектуру Qwen2 с плотной языковой моделью для генерации текста и диалогов; заявленная длина контекста составляет около 1,01 млн токенов. Модель предназначена для диалогового взаимодействия и генерации текста с поддержкой интерфейса вызова инструментов. Многоязычная поддержка, включая конкретные языки, в предоставленных данных не описана. В названии и базовой модели указано ослабление отказов, поэтому поведение модели может быть менее ограничительным. Файлы представлены в формате safetensors; лицензия в доступных данных не приведена.

Карточка модели filippovg199/Qwen2.5-7B-Instruct-abliterated-v2 на Hugging Face совпадает с карточкой huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2, поэтому описание составлено по ней. Qwen2.5-7B-Instruct-abliterated-v2 — доработанная методом abliteration версия инструктивной языковой модели Qwen2.5-7B-Instruct, созданная huihui-ai. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалогов и генерации текста; она поддерживает контекст до 32 768 токенов и предназначена для работы через библиотеку Transformers. В карточке отмечены чат-возможности и интерфейс вызова инструментов. Версия позиционируется как менее ограниченная в отказах на запросы, чем исходная модель. В README приведены оценки IF_Eval 77,82, MMLU Pro 42,03 и TruthfulQA 57,81; результаты отдельных тестов отличаются от исходной Qwen2.5-7B-Instruct. Метаданные указывают языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-GGUF — неофициальный релиз модели, подготовленный chimingw на основе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Релиз представляет собой конвертацию и квантизацию исходной модели в формате GGUF без дополнительного обучения, дообучения, слияния или изменения выравнивания. Модель предназначена для локального запуска через совместимый runtime, включая llama.cpp; размещённый на Hugging Face хостинг inference отключён. Архитектура указана как Qwen3_5ForConditionalGeneration с типом qwen3_5 и размером 27B параметров. Это мультимодальная vision-language модель с поддержкой текста и изображений, английского и китайского языков, а также заявленной интеграцией function calling. Максимальный контекст по метаданным составляет 262 144 позиции, однако фактическая доступная длина зависит от runtime и объёма памяти. В комплект входят варианты квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M, а также отдельный BF16 мультимодальный проектор; для использования нужные файлы и split-части необходимо хранить вместе. Сильными сторонами релиза являются большой контекст, мультимодальность, несколько вариантов компромисса между качеством и требованиями к памяти и сохранение исходного BF16 набора файлов. Поведение при работе с текстом, изображениями, рассуждениями, инструментами и длинным контекстом зависит от выбранного варианта, клиента, prompt format, runtime и аппаратных ресурсов. Заявления исходного автора о характеристиках uncensored-модификации не были независимо проверены создателем GGUF-релиза и не являются результатами оценки данных артефактов. Модель распространяется по Apache License 2.0 согласно заявленной лицензии источника.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная версия Qwen3.8-27B, опубликованная HauhauCS. Это плотная языковая модель с поддержкой текста, рассуждений, агентских сценариев, изображений и видео. Она предназначена для прямых ответов без выраженного отказного поведения и минимального вступления, включая сложные запросы. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, FFN-размер 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, а профиль HauhauCS FastMTP предназначен для ускорения генерации. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000. Поддерживаются английский, китайский и другие языки; для изображений и видео используется отдельный vision-проектор BF16. Сильные стороны модели — мультимодальность, большой контекст, несколько вариантов GGUF-квантизации и ускорение FastMTP. Агрессивный профиль может быть удобен, когда важны краткость и отсутствие отказов, однако для надёжных длинноконтекстных агентских задач автор рекомендует сбалансированный вариант, если он доступен. README не приводит независимых оценок качества и не уточняет риски, связанные с uncensored-поведением. Модель распространяется по лицензии Apache-2.0.

TheDrainFlorist/Qwen3.8-27B-VQ-4.5bpw — векторно-квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной Qwen. Модель предназначена для генерации текста и, при использовании совместимого mlx-vlm, обработки изображений. Сборка ориентирована на локальный запуск на устройствах Apple Silicon через MLX и сохраняет совместимость со стандартным mlx-lm без патчей. Модель содержит 27 млрд параметров и использует векторное квантование с эффективностью около 4,5 бит на вес; размер чекпойнта составляет примерно 14,45 GiB, включая vision tower в формате bf16. В метаданных указан английский язык, однако полный набор поддерживаемых языков и размер контекстного окна не приведены. Для загрузки требуется версия mlx-lm с поддержкой параметра model_file, а для работы с изображениями — mlx-vlm версии 0.6.16 или новее. Главное преимущество сборки — заметно меньший размер при качестве, близком к bf16 и немного лучшем, чем у указанной локальной 4-битной affine-квантизации: согласие по наиболее вероятному токену составляет 90,1%, а расхождение с bf16-версией — 40,3 millinats на токен. Ограничения включают зависимость от Apple Silicon и совместимых версий MLX, необходимость корректной загрузки встроенного runtime, а также снижение точности по сравнению с bf16 и более качественными 6- и 8-битными вариантами. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-GGUF — набор GGUF-квантизаций базовой модели Qwen3.8-Flash-Next, разработанной Qwen и сконвертированной с помощью llama.cpp пользователем 6block. Модель предназначена для генерации текста и локального запуска в совместимых инструментах, включая llama.cpp. В README указана поддержка английского и китайского языков. Модель имеет 180 млрд параметров: MoE-ядро объёмом 125 млрд параметров с 48 слоями и 512 экспертами, из которых для токена выбираются 10 экспертов и один общий, а также 51-миллиардная PLE n-граммная таблица. Используется гибридное внимание: линейное внимание Gated DeltaNet чередуется с блоками Qwen Sparse Attention и дополняется hyper-connections. Заявленная длина контекста — до 262 тысяч токенов. Один слой MTP для чернового прогнозирования был исключён при конвертации. Доступны варианты BF16, IQ4_XS, IQ3_XXS, IQ2_XS-layered и IQ1_M-layered размером примерно от 76,4 до 329,7 ГиБ. Квантизация откалибрована с использованием imatrix; каждый вариант поставляется в восьми shards. Layered-варианты сильнее сжимают PLE-таблицу и сохраняют более высокую точность критичных компонентов, что по данным README улучшает показатель perplexity по сравнению с равномерной квантизацией при сопоставимом или меньшем размере. Основные ограничения — очень большой объём файлов, необходимость загрузки всех восьми частей и зависимость от совместимого ПО и доступной памяти. Модель распространяется по Qwen Community License 1.0, а не по MIT.

aquaduck/Qwen3.8-Flash-Next-GGUF — это квантизированная версия каузальной языковой модели Qwen3.8-Flash-Next, разработанной командой Qwen и Alibaba Cloud. Репозиторий поддерживается Aquaduck и содержит GGUF-представление UD-Q3_K_XL, а также пакеты слоёв для поэтапной или многонодовой загрузки. Это не дообученная модель и не новый запуск обучения, а упаковка и квантизация исходных весов. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты, в частности llama.cpp, а также staged loading через экосистему Aquaduck Arc. Заявлены мультиязычная поддержка, контекст до 262 144 токенов и около 180 млрд параметров. Архитектура включает 48 слоёв, GQA с 24 Q- и 2 KV-головами и скрытое измерение 2560. К преимуществам относятся большой контекст, мультиязычность, возможность локального запуска в формате GGUF и поддержка поэтапной загрузки для распределённых конфигураций. Ограничения связаны с крупным размером модели и снижением качества по сравнению с более точными версиями из-за квантизации UD-Q3_K_XL. Отдельные shard-файлы не являются полноценной моделью и не предназначены для прямого запуска в стандартном llama.cpp. Лицензия указана как other и наследуется от базовой модели; необходимо соблюдать условия лицензии и рекомендации исходной карточки модели.

smol-7b-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral для генерации ответов на инструкции и диалоговые запросы. Она создана методом SLERP merge из mistralai/Mistral-7B-Instruct-v0.1 и rishiraj/smol-7b; в конфигурации указана базовая модель mistralai/Mistral-7B-Instruct-v0.1. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и принимает текст для генерации текста. Нативный контекст составляет 32 768 токенов. В карточке указан английский язык, формат весов — safetensors, лицензия — Apache-2.0.

SmolLM3-3B — открытая языковая модель с 3 млрд параметров, разработанная HuggingFaceTB и преобразованная в формат LiteRT-LM для локального запуска на устройствах и компьютерах. Это decoder-only модель для генерации текста, диалогов, рассуждений и других задач, поддерживаемых базовой SmolLM3. Модель ориентирована на сценарии on-device и edge-инференса, включая Android-смартфоны, iPhone, Raspberry Pi, настольные системы и локальный OpenAI-совместимый API-сервер. Представленная версия использует блочную симметричную int4-квантизацию с размером блока 32 и оптимальным клиппингом OCTAV; эмбеддинги имеют формат INT8, вычисления выполняются в целочисленном формате. Файл основной версии занимает около 1,9 ГБ, контекст KV-кэша ограничен 4096 токенами. В архитектуре базовой модели заявлены GQA, расписание внимания NoPE, мультиязычная поддержка и обучение на длинном контексте. В комплект входят токенизатор и шаблон ChatML, поэтому отдельные файлы токенизатора не требуются. Сильные стороны модели — небольшой размер для класса 3B, открытая лицензия Apache-2.0, поддержка полностью локального инференса и наличие GPU-ускорения на совместимых устройствах. Производительность зависит от оборудования: в приведённых измерениях она достигала 93,2 токена/с при декодировании на Apple M4 Max и 22,5 токена/с на iPhone 17 Pro. Ограничения включают потери качества и возможные особенности поведения, связанные с int4-квантизацией, фиксированный контекст 4096 токенов и зависимость скорости от конкретного LiteRT-LM backend, устройства и объёма доступной памяти.

Spark-X2.5-4B-GGUF — это GGUF-квантизированная версия модели Spark-X2.5-4B, разработанной XHToken. Квантизацию выполнил stornic56 с использованием imatrix и форка llama.cpp на базе коммита b10514-4a3635c32; начиная с версии llama.cpp b10828 архитектура spark2_5 поддерживается в основном репозитории. Модель содержит около 4,11 млрд параметров, принимает текстовые данные и поддерживает английский и китайский языки. Модель предназначена для генерации текста в диалоговых и прикладных сценариях, включая рассуждения и thinking-режим, а также вызов инструментов. Шаблон чата встроен в каждый GGUF-файл и поддерживает автоматическое применение через --jinja. По умолчанию рассуждения выводятся внутри тегов <think>...</think> перед итоговым ответом. Доступны варианты от BF16 до низкобитных Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_NL, Q3_K_M, IQ3_M и IQ2_M; вариант Q4_K_M рекомендован как компромисс между размером и качеством. К сильным сторонам относятся широкий выбор квантизаций, поддержка imatrix и возможность запуска через llama.cpp, включая ускорение на Intel Arc с Vulkan. IQ2_M сохраняет работоспособность в расширенном тесте связности, тогда как Q2_K был исключён из выпуска из-за циклов повторения; варианты ниже IQ2_M не создавались из-за ожидаемой существенной потери качества. Максимальная длина контекста в README не указана, поэтому параметры запуска с 8192 или 16384 токенами нельзя считать подтверждённым ограничением модели. Распространение осуществляется по лицензии Apache-2.0.

jondurbin/spicyboros-7b-2.2 — экспериментальная текстовая модель семейства Llama, разработанная Jondurbin и дообученная преимущественно на синтетических данных Airoboros 2.2. Она предназначена для выполнения инструкций и генерации ответов: модель подходит для вопросов и ответов по заданному контексту, написания текстов, викторин, задач на выбор ответа, программирования и генерации структурированных ответов. Заявленный контекст — 4096 токенов; модель содержит 6,6 млрд параметров и распространяется в формате PyTorch. В обучении использованы данные для более свободных, в том числе ролевых и чувствительных ответов; автор предупреждает, что модель может генерировать грубый, вредный и откровенный контент. Это англоязычная по представленным примерам и карточке модель общего назначения, с акцентом на пары инструкций и ответов, а не на непринуждённый диалог. Для инференса следует учитывать формат промпта с метками USER и ASSISTANT и задавать критерии остановки, чтобы модель не продолжала ответ за пользователя. Лицензия — Llama 2; перед использованием необходимо соблюдать её условия.

Synatra-7B-Instruct-v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и maywell/Synatra-7B-Instruct-v0.2 методом SLERP с помощью MergeKit. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста в диалогах и выполнения инструкций. Она принимает текст и выдаёт текст; заявленная длина контекста составляет до 32 768 токенов. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

T3qm7xNeuralsirkrishna_Experiment26Yamshadow — объединённая языковая модель семейства Mistral, созданная путём слияния automerger/T3qm7xNeuralsirkrishna-7B и automerger/Experiment26Yamshadow-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и диалогов; поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache 2.0. Данные карточки не описывают специализацию по языкам или предметным областям, поэтому её следует рассматривать как модель общего назначения.

tau-instruct-0.5B — языковая модель с инструкционной настройкой, созданная на базе tau-0.5B. В карточке указано, что для дообучения использовали около 16 000 примеров, сгенерированных GPT-4. По архитектуре это плотная Qwen2-модель примерно на 463,9 млн параметров; она принимает текст и генерирует текст, поддерживает диалог и контекст до 32 768 токенов. Метаданные указывают английский язык. Модель предназначена для ответов на вопросы, продолжения и создания текста, решения математических задач, работы с кодом, рассуждений и общих знаний. Её можно использовать как основу для виртуальных помощников, учебных инструментов и исследовательских приложений. По README, настройка улучшила следование инструкциям относительно базовой модели, но качество может снижаться на сложных или неясных запросах; возможны унаследованные от базы и обучающих данных ограничения и предвзятость. Лицензия указана как other; README требует учитывать лицензию Qwen и сообщает, что права использования совпадают с правами базовой tau-0.5B.

Teuken-7B-instruct-research-v0.4-GGUF — это квантизированная версия инструкционной языковой модели Teuken-7B-instruct-research-v0.4, разработанной openGPT-X и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций, а также для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер наиболее компактных представленных вариантов составляет около 4,1–4,7 ГБ, а F16-версия занимает около 14,9 ГБ. В README заявлена поддержка немецкого, болгарского, чешского, датского, греческого, английского, испанского, эстонского, финского, французского, ирландского, хорватского, венгерского, итальянского, литовского, латышского, мальтийского, нидерландского, польского, португальского, румынского, словенского, шведского и словацкого языков. Некоторые квантизации оптимизированы для ARM или AVX, однако отдельные варианты не рекомендуются для Mac или GPU. Более качественные варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. README не содержит сведений об архитектуре, размере контекстного окна, параметрах обучения, точных мультимодальных возможностях или формате промпта, поэтому модель следует рассматривать как текстовую, без подтверждённой поддержки других модальностей. Лицензия указана как other, без дополнительных условий; перед использованием в коммерческих или распространительных сценариях необходимо проверить лицензию исходной модели и конкретные ограничения.

AAIKR 3.1 mini — компактная мультимодальная модель семейства Gemma 4, дообученная AI-исследовательской командой LOOP на базе google/gemma-4-e2b-it. Карточка указывает размер 2 млрд параметров и усиленную поддержку рассуждений на корейском языке; метаданные отмечают архитектуру Gemma4ForConditionalGeneration, чат и работу с изображениями. Модель предназначена для быстрых ответов на вопросы, рассуждений, генерации кода, поиска общих знаний и краткого пересказа документов, в том числе на устройствах с ограниченными ресурсами. К заявленным сценариям относятся системы вопросов и ответов в реальном времени, лёгкий помощник по коду, быстрое резюмирование документов и развёртывание на периферийных устройствах. Карточка предупреждает о возможных небольших смещениях в рассуждениях и сбоях памяти в очень длинных диалогах; для важных решений ответы следует проверять. Модель выпущена под лицензией Apache-2.0.

DeepSeek-V4-Flash-8bit — это 8-битная версия модели DeepSeek-V4-Flash, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.31.3. Исходная модель разработана deepseek-ai. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm; README показывает использование диалогового шаблона и генерацию ответа по текстовому prompt. Из указанных характеристик известны формат MLX, 8-битное представление весов и текстовая модальность. Размер модели, архитектура, поддерживаемые языки и длина контекста в README не указаны. К преимуществам относятся адаптация к экосистеме MLX и уменьшенное по сравнению с полноточным представлением потребление памяти, однако ограничения качества, производительности и совместимости отдельно не описаны. Модель распространяется по лицензии MIT.

Dolphin-2.6-FC_Hermes-2-DPO — объединённая модель генерации текста, созданная с помощью LazyMergekit путём слияния cognitivecomputations/fc-dolphin-2.6-mistral-7b-dpo-laser и NousResearch/Nous-Hermes-2-Mistral-7B-DPO. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Данные README описывают слияние методом SLERP в формате bfloat16; карточка базовой модели указывает на генерацию по инструкциям и общение в ChatML. В метаданных репозитория указан формат safetensors. Сведения о поддерживаемых естественных языках и конкретной лицензии отсутствуют, поэтому их нельзя надёжно указать.

ERNIE-4.5-300B-A47B-2Bits-TP4-Paddle — текстовая MoE-модель семейства ERNIE 4.5, разработанная Baidu и размещённая в формате SafeTensors для запуска на PaddlePaddle. Она предназначена для диалогов, понимания языка и генерации текста; README также описывает веб-поиск с передачей вопроса, даты и найденных ссылок в промпте. Модель содержит 300 млрд параметров, из которых для каждого токена активируются около 47 млрд, и поддерживает контекст до 131 072 токенов. В README говорится о мультимодальном обучении семейства ERNIE 4.5, однако эта версия обозначена как текстовая, поэтому не следует считать, что она принимает изображения. Репозиторий указывает 47,1 млрд параметров; это расходится с общим описанием 300 млрд параметров и 47 млрд активированных параметров, вероятно, из-за способа учёта параметров. Для эксплуатации README приводит пример FastDeploy с квантизацией WINT4 и параллелизмом по тензорам. Лицензия — Apache-2.0.

ThomasBaruzier/gemma-2-9b-it-GGUF — это набор GGUF-квантизаций инструкционно дообученной текстовой модели Gemma 2 9B IT, первоначально разработанной Google. Квантизации созданы с помощью llama.cpp и метода imatrix на основе калибровочного файла Bartowski; исходная модель — google/gemma-2-9b-it. Модель представляет собой decoder-only большую языковую модель для генерации и преобразования текста. Она предназначена для диалогов, ответов на вопросы, суммаризации, рассуждений и других задач текстовой генерации на английском языке. Доступны варианты с разными уровнями квантизации и размером примерно от 2,3 до 17,6 ГБ: от IQ1_S и IQ1_M до Q8_0 и F16. Более компактные варианты требуют меньше ресурсов, но могут сильнее терять качество; по приведённой таблице варианты Q4–Q8 близки к F16 по измеренным показателям perplexity и accuracy. Сильная сторона набора — возможность запускать Gemma 2 9B IT локально или на инфраструктуре с ограниченными ресурсами через llama.cpp, выбирая компромисс между размером и качеством. README не содержит сведений о длине контекста, точной архитектуре, поддерживаемых модальностях кроме текста или полном наборе языков; указано только, что модель доступна на английском языке. Использование регулируется лицензией Gemma от Google; для доступа к модели на Hugging Face требуется принять условия этой лицензии.

PocketWeights/Gemma-4-12B-agentic-abliterated-GGUF — это квантизированная в формате GGUF версия 12-миллиардной модели на архитектуре Gemma, разработанной Google. К использованной базовой модели Huihui-gemma-4-12B-agentic-fable5-abliterated применены дообучение и методы удаления отказов от huihui-ai / yuxinlu1; сборку и оптимизацию GGUF выполняет PocketWeights. Модель предназначена для генерации текста, диалогов, многошагового планирования, декомпозиции сложных запросов, структурированного вывода, агентских сценариев и использования инструментов или function calling. Заявлены возможности технического анализа, автономного выполнения многошаговых целей, red-teaming и творческого письма. Поддерживаемые модальности и языки в README не указаны; контекстное окно также не заявлено. Доступны варианты IQ3_M размером 5,73 ГБ, рассчитанный примерно на 6 ГБ VRAM или 8 ГБ RAM, и Q4_K_M размером 7,38 ГБ, рекомендованный для 8–12 ГБ VRAM или 16 ГБ RAM. Ключевое преимущество — сочетание 12B-параметров с локальным запуском на потребительском оборудовании. Ограничение — удалённые защитные механизмы, поэтому модель может генерировать небезопасный контент и рекомендуется для авторизованных исследований безопасности, симуляций red-teaming и локальных изолированных сред. Модель распространяется по Gemma Terms of Use / Open Model License; конкретные условия применения следует проверять в тексте лицензии.

EZForever/gemma-4-26B-A4B-it-qat-uncensored-heretic-UDmerge-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, созданная EZForever на основе объединения моделей Unsloth и llmfan46. Распространяется в формате GGUF и предназначена для запуска совместимых локальных inference-систем. Модель ориентирована на диалоговые и текстовые задачи, а при использовании файлов mmproj также поддерживает обработку изображений; файлы mtp обеспечивают поддержку MTP. Вариант UDmerge использует квантизацию Q4_0 для аблированных тензоров и имеет заявленный размер около 14,2 ГБ. В README также упоминается вариант UDmerge-Q4_K_XXL с квантизацией Q8_0 отдельных тензоров, но идентификатор модели указывает именно на UDmerge-GGUF без уточнения этого варианта. Для модели заявлены результаты MMLU-val 81,38%, PPL 5,236 и KLD 0,0448; авторы отмечают, что показатели отказов получены на ограниченном тесте и могут быть неточными. Сильными сторонами являются компактный квантизованный формат, мультимодальная поддержка, относительно небольшое отклонение от BF16-версии и высокая производительность на MMLU в приведённом сравнении. Ограничения включают возможные потери качества из-за квантизации, экспериментальный характер слияния и неопределённость результатов тестов. Контекстное окно, поддерживаемые языки и точные требования к оборудованию в README не указаны. Модель распространяется по лицензии Apache-2.0; для работы с Gemma могут применяться дополнительные условия лицензии Google Gemma.

glm-4-9b-chat-GGUF — чат-модель семейства GLM-4 с примерно 9 млрд параметров, разработанная THUDM на базе THUDM/glm-4-9b-chat. Репозиторий содержит GGUF-квантизованные варианты, подготовленные Second State Inc., для локального запуска и интеграции с совместимыми инструментами, включая LlamaEdge. Модель предназначена для диалоговых сценариев: ведения беседы, обработки пользовательских запросов и генерации текстовых ответов. Заявлены китайский и английский языки. Для запуска через LlamaEdge указан контекст до 128 000 токенов и специальный шаблон prompt glm-4-chat; требуется LlamaEdge версии 0.12.3 или новее либо другой совместимый runtime для формата GGUF. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 3,99 до 18,8 ГБ. Более компактные варианты экономят память, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, обеспечивающие баланс между размером и качеством. Лицензия указана как glm-4 с типом other; условия следует уточнять в файле лицензии оригинальной модели.

Gemma 3 12B IT QAT GGUF — квантизированная instruction-tuned модель семейства Gemma 3, разработанная Google. Данный вариант подготовлен bartowski на основе весов google/gemma-3-12b-it-qat-q4_0-unquantized и предназначен для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к мультимодальному классу image-text-to-text, поэтому предназначена для обработки текста и изображений с генерацией текстовых ответов. Указан размер 12 миллиардов параметров; README не содержит сведений о поддерживаемых языках, размере контекста и точной архитектуре. Доступны варианты в формате GGUF с разными уровнями квантования, включая Q4_0; файл Q4_0 имеет размер около 6,91 ГБ и благодаря QAT должен обеспечивать улучшенное качество относительно обычного квантования при сохранении сниженных требований к памяти. Q4_0 также поддерживает онлайн-репаковку для ARM- и AVX-совместимых CPU. Сильными сторонами являются возможность локального использования, широкий выбор уровней квантования и совместимость с распространённой экосистемой llama.cpp. Более качественные варианты требуют больше памяти, а сильнее сжатые варианты могут заметно терять в качестве. Для доступа к исходной модели на Hugging Face необходимо принять лицензию Google Gemma; конкретные условия лицензии в README не приведены.

gpt-oss-20b-Derestricted — производная модель Arli AI на основе openai/gpt-oss-20b. Авторы применили Norm-Preserving Biprojected Abliteration, чтобы ослабить поведение отказа, сохранив исходные нормы весов. В каталоге указано 1,6 млрд параметров, архитектура MoE для авторегрессионной генерации текста и контекст до 131 072 токенов. Модель предназначена для диалогов, рассуждений, агентных сценариев и других задач генерации текста, где требуется меньше отказов на запросы. Исходная модель поддерживает настраиваемый уровень рассуждений и формат Harmony; для корректной работы следует использовать шаблон Harmony. Карточка утверждает, что метод помогает сохранить качество рассуждений, но приводит это как результат авторских оценок, а не как независимую гарантию. Модель распространяется по лицензии Apache-2.0. Она может по-прежнему иногда пытаться подавлять запросы; языки в предоставленных данных явно не перечислены.