II.3Рефакторинг, миграция и модернизация

Hermes-3-Llama-3.1-70B-IMat-GGUF — это квантизированная версия текстовой языковой модели NousResearch/Hermes-3-Llama-3.1-70B, подготовленная пользователем legraphista в формате GGUF для запуска через llama.cpp. Исходная модель имеет размер 70B параметров и тип данных BF16, а доступные варианты включают BF16, FP16 и несколько уровней квантования от 1 до 8 бит, в том числе варианты с IMatrix. Модель предназначена для генерации текста, диалоговых сценариев и работы в формате instruct/chat. В описании также заявлены поддержка ChatML, function calling и JSON mode, а среди возможных применений указаны ролевые диалоги и задачи, связанные с синтетическими данными и дистилляцией. Указан английский язык; сведения о других языках и размере контекстного окна отсутствуют. Модель является текстовой и не заявляет поддержку изображений или других дополнительных модальностей. Основное преимущество сборки — возможность выбрать баланс качества, размера файлов и требований к ресурсам за счёт большого набора GGUF-квантов; IMatrix применяется в ряде вариантов с более низкой разрядностью. Ограничения связаны с очень большим размером модели: файлы занимают примерно от 26 до 141 ГБ, а некоторые варианты разделены на несколько частей. Квантизация может снижать точность по сравнению с исходной BF16-моделью, особенно в вариантах с меньшей разрядностью. Лицензия указана как llama3.

IFM/K2-Horizon-MoVA-36B-A4B-FP8 — открытая FP8-квантизованная версия модели K2-Horizon-MoVA-36B-A4B, разработанная IFM. Это разреженная Mixture-of-Experts-модель с механизмом внимания Mixture-of-Values (MoVA), содержащая 36 млрд параметров, из которых около 4 млрд активируются для каждого токена. Модель предназначена для генерации текста, агентских сценариев и задач, требующих рассуждений. Модель поддерживает английский язык и нативный контекст до 524 288 токенов. Квантизации FP8 подвергнуты маршрутизируемые линейные слои экспертов в слоях трансформера 3–47: веса используют статический FP8 E4M3FN, а активации — динамический FP8. Остальные основные тензоры, включая attention, общие эксперты, маршрутизаторы, первые плотные слои, MoVA-экспертов значений, нормализацию, embeddings и lm_head, сохранены в BF16. Благодаря этому снижается объём памяти и ускоряется инференс на оборудовании с поддержкой FP8 при близком к исходной BF16-модели качестве. Сильные стороны модели — высокий заявленный уровень результатов при небольшом числе активных параметров, длинный контекст и эффективность разреженной архитектуры. Для обслуживания рекомендуется tensor parallelism с TP=1 или TP=2. Ограничения включают зависимость преимуществ FP8 от совместимого оборудования и инфраструктуры, а также отсутствие в предоставленных данных подробной оценки качества по отдельным задачам и языкам. Модель распространяется под лицензией Apache-2.0.

Jhjhugv/kanana-1.5-8b-instruct-2505-Persona-Merged — дообученная диалоговая модель, созданная Jhjhugv на основе kakaocorp/kanana-1.5-8b-instruct-2505. Это плотная Llama-модель с 7,5 млрд параметров, рассчитанная на генерацию текста и чат; метаданные также указывают интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов. Модель принимает текст и выдаёт текст. Базовая модель предназначена для генерации текста, программирования, математики и работы с инструментами; карточка этой производной версии не уточняет специализацию дообучения. В README указано использование Unsloth и библиотеки TRL при обучении. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или конкретных ограничений, поэтому пригодность для специализированных задач следует проверять на собственных примерах.

AtomicChat/LFM2.5-8B-A1B-GGUF — это текстовая генеративная модель в формате GGUF, созданная Atomic Chat на основе LiquidAI/LFM2.5-8B-A1B. Репозиторий содержит самостоятельно выполненные квантования исходных весов с использованием importance matrix, рассчитанной для каждого тензора, поэтому модель предназначена для локального и полностью офлайн-использования через llama.cpp, MLX, vLLM, SGLang и совместимые приложения. Модель рассчитана на роль персонального помощника на устройствах с ограниченными ресурсами: она поддерживает диалог, сложные инструкции, последовательные вызовы инструментов и агентские сценарии. Это текстовая Mixture-of-Experts-модель с 8,5 млрд параметров, 24 слоями и 32 экспертами, из которых для обработки выбираются 4; архитектура также включает 32 attention heads и 8 KV heads. Заявленная длина контекста — до 128 000 токенов, размер словаря — 128 000 токенов. Поддерживаемая модальность — текст; сведения о языках в README не указаны. Сильные стороны модели — высокая скорость инференса на CPU и GPU, широкий выбор квантований от Q2_K до Q8_0 и хорошее сохранение качества при использовании importance matrix. В качестве сбалансированного варианта рекомендуется Q4_K_M, а Q6_K и Q8_0 ориентированы на более высокую точность. К ограничениям относятся неизбежная потеря качества в низкобитных вариантах, требования к памяти, зависящие от выбранного квантования, и необходимость применять chat template LFM2.5 с параметром --jinja; без него возможны некорректно сформированные диалоговые ходы. Лицензия обозначена как other, подробные условия находятся в файле LICENSE.

duyntnet/Llama-3.1-SuperNova-Lite-imatrix-GGUF — набор GGUF-квантизаций модели Llama-3.1-SuperNova-Lite, разработанной Arcee.ai на основе архитектуры Llama-3.1-8B-Instruct. Модель предназначена для генерации текста, выполнения инструкций и широкого спектра прикладных задач, где важны высокая производительность и сниженные требования к ресурсам. Она может использоваться через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель содержит около 8 млрд параметров и представляет собой дистиллированную версию Llama-3.1-405B-Instruct: при обучении использовались офлайн-логиты крупной 405B-модели и набор инструкционных данных, созданный с помощью EvolKit. Заявлены сильные стороны в следовании инструкциям, производительности на бенчмарках и адаптации к предметным областям при компактном размере. В README указан английский язык; другие языки, размер контекста и точные характеристики отдельных квантизаций не приведены. Репозиторий содержит именно квантизированные варианты в формате GGUF с использованием imatrix, поэтому фактические требования к памяти и качество зависят от выбранной версии. Лицензия обозначена как other, но её конкретные условия в README не раскрыты.

MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF — набор файлов модели в формате GGUF, созданный и квантизированный MaziyarPanahi на основе MaziyarPanahi/Llama-3-8B-Instruct-64k. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Из указанных данных известны размер 8B, принадлежность к семейству Llama 3, инструктивная настройка и заявленный контекст до 64 тысяч токенов у базовой модели. Поддерживаются варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством. Модель работает с текстом; сведения о языках и дополнительных модальностях не указаны. Формат GGUF ориентирован на эффективный локальный инференс и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Ограничения включают возможные потери качества из-за квантизации, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в README сведений о лицензии, результатах оценки и точных требованиях к ресурсам.

RLHFlow/LLaMA3-iterative-DPO-final — неофициальная диалоговая модель семейства LLaMA 3, разработанная авторами исследования «RLHF Workflow: From Reward Modeling to Online RLHF» (TMLR, 2024). Это плотная авторегрессионная модель на 7,5 млрд параметров с контекстом 8192 токена, представленная в формате safetensors и предназначенная для генерации текста в режиме чата. Модель обучена для следования инструкциям с помощью итеративного онлайн RLHF на основе DPO. Она подходит для диалоговых ответов, общих вопросов, рассуждений и задач по программированию; авторы приводят результаты на Alpaca-Eval-V2, MT-Bench, Chat-Arena-Hard и академических тестах. В README указано, что чекпойнт предназначен для демонстрации метода и исследовательского использования. README предупреждает, что модель может выдавать оскорбительный или неэтичный контент, особенно при состязательных запросах. Указанная лицензия — llama3; README также отмечает нерешённые лицензионные вопросы при выпуске модели, поэтому условия распространения и использования следует сверять с применимыми условиями LLaMA 3.

Карточка модели Openintelligent123/Meta-Llama-3.1-8B на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

Mistral 7B Instruct — текстовая языковая модель с приблизительно 7 млрд параметров, представленная в репозитории casperhansen. Данная версия представляет собой AWQ-квантизированный вариант модели, подготовленный с использованием AutoAWQ. README не уточняет исходного разработчика базовой модели, поддерживаемые языки и максимальный контекст. Модель предназначена для генерации текста и выполнения инструкций в диалоговом формате. В качестве сценариев использования указаны загрузка через AutoAWQForCausalLM и Transformers, потоковая генерация ответов, а также инференс через vLLM. Пример применения демонстрирует формат запросов Mistral с маркерами [INST] и [/INST], а также генерацию продолжений текста. Ключевое преимущество версии — AWQ-квантизация, которая может снизить требования к памяти и упростить запуск модели на совместимом оборудовании. Ограничения включают зависимость от совместимых версий Transformers, AutoAWQ или vLLM, а также отсутствие в README сведений о качестве на бенчмарках, языковом охвате, максимальной длине контекста и мультимодальных возможностях; по предоставленным данным модель является текстовой. Лицензия — Apache 2.0.

Nemotron-H-47B-Reasoning-128K-GGUF — это набор GGUF-квантизаций модели Nemotron-H-47B-Reasoning-128K, разработанной NVIDIA и квантизированной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет 47 миллиардов параметров и заявленный контекст до 128K токенов. В README указана только текстовая модальность; сведения о языках, конкретной архитектуре и формате промптов отсутствуют. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций, поэтому можно выбирать между качеством, объёмом памяти и скоростью запуска. Для квантизации использовался imatrix и релиз llama.cpp b6317. Сильной стороной являются большой контекст и широкий выбор уровней квантизации, включая варианты Q4–Q6, рекомендованные автором как обеспечивающие высокое или хорошее качество при существенно меньшем размере файлов. Ограничения связаны с большими требованиями к оперативной или видеопамяти даже у компактных вариантов, а при более агрессивной квантизации возможно снижение качества. Лицензия в README не указана; условия использования следует уточнять на странице исходной модели NVIDIA и соответствующего репозитория.

MaziyarPanahi/openchat_3.5-16k-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и openchat_3.5-16k методом slerp. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов в диалоге. Она поддерживает контекст до 32 768 токенов и распространяется в формате safetensors по лицензии Apache-2.0. Сведения о специализации по отдельным языкам и конкретных ограничениях качества в карточке не приведены.

Open-Instruct Dolly 13B — языковая модель AllenAI на архитектуре LLaMA, дообученная на наборе инструкций Databricks Dolly 15k. Она предназначена для генерации текста и выполнения инструкций, например для ответов на вопросы, рассуждений и написания кода. Модель содержит 12,9 млрд параметров, работает с текстом и имеет контекстное окно 2048 токенов; для корректной генерации следует использовать формат инструкций, заданный авторами. В карточке приведены результаты оценки на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Это исследовательская работа по настройке моделей на открытых ресурсах, опубликованная в рамках статьи How Far Can Camels Go? Модель распространяется как diff и требует доступной базовой LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model из LICENSE.txt и исходной лицензией LLaMA.

bartowski/Phi-3.1-mini-128k-instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели Phi-3.1-mini-128k-instruct, разработанной Microsoft и подготовленной для распространения пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы, выполнение инструкций и задачи, связанные с обработкой естественного языка и кодом. Модель работает с текстом, заявлена поддержка английского языка, а контекстное окно составляет до 128 000 токенов. Доступны варианты от F32 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-разновидностей; размер файлов варьируется примерно от 1,42 до 15,29 ГБ. Более высокие варианты квантования обеспечивают лучшее сохранение качества, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Модель рассчитана на локальный запуск через llama.cpp и совместимые приложения, включая LM Studio. В README не приведены результаты тестирования, точные сведения об архитектуре, аппаратные требования или ограничения по применению, поэтому её возможности нельзя оценить за пределами указанных сценариев. Для модели указана лицензия MIT.

Phi-3.5-mini-instruct-IMat-GGUF — это GGUF-квантизованная версия модели microsoft/Phi-3.5-mini-instruct, подготовленная legraphista с использованием llama.cpp b3608. Модель предназначена для генерации текста в формате инструкций, диалоговых сценариев и задач обработки естественного языка, включая работу с кодом. В README указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и ряда IQ-квантизаций размером примерно от 1,42 до 7,64 ГБ. Для многих вариантов с низкой разрядностью применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера модели; файлы предоставляются в формате GGUF и подходят для использования с совместимыми инструментами, включая llama.cpp. Точная архитектура, число параметров и размер контекста в README не указаны. Сильной стороной модели является широкий выбор уровней квантизации, позволяющий подобрать компромисс между качеством, скоростью и требованиями к памяти, а также наличие IMatrix для ряда компактных вариантов. Ограничения связаны с возможной потерей качества при агрессивной квантизации и отсутствием сведений о целевых метриках и производительности. Модель распространяется по лицензии MIT; исходная модель принадлежит Microsoft.

Модель predibase/Phi-3-mini-4k-instruct-dequantized — дообученная версия компактной языковой модели Phi-3 Mini от Microsoft, загруженная jeffkinnison. Она предназначена для генерации текста в диалогах и написания кода; поддерживает контекст до 4096 токенов и содержит 3,7 млрд параметров. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Карточка не сообщает о специальных ограничениях применения; возможности и качество унаследованы от базовой модели Phi-3 Mini.

Qwen3-235B-A22B-Instruct-2507-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, а распространение модели представлено в рамках программы LM Studio Community Models. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска через совместимое программное обеспечение, включая LM Studio и llama.cpp. Из доступных данных известно, что исходная модель имеет размер 235B параметров, из которых 22B являются активными, однако сведения о конкретном типе квантизации, поддерживаемых языках, модальностях и размере контекста в README не указаны. К сильным сторонам относятся крупный масштаб исходной модели, инструкционная настройка и возможность использования GGUF-формата в локальной инфраструктуре. Ограничения связаны с отсутствием в предоставленной карточке подробностей о производительности, точности, аппаратных требованиях, вариантах квантизации и лицензии. Модель предоставляется третьими сторонами; LM Studio не является её разработчиком и не гарантирует точность, безопасность или пригодность результатов.

Jackrong/Qwen3.5-27B-GLM5.1-Distill-v1 — экспериментальная мультимодальная модель с 27 млрд параметров, созданная автором Jackrong на базе Qwen3.5-27B. Модель прошла supervised fine-tuning с использованием LoRA на отфильтрованных данных рассуждений, полученных от GLM-5.1; в обучении также использовался набор Qwen3.5-reasoning-700x. Весы опубликованы в формате safetensors, модель рассчитана на работу через Transformers и распространяется по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям, многошаговых рассуждений, решения математических и логических задач, программирования и анализа изображений. Заявлена поддержка английского, китайского, японского и испанского языков; архитектура Qwen3.5 поддерживает обработку текста и изображений. Карточка описывает её как экспериментальную версию для обучения, демонстраций и технического исследования, с ожидаемыми улучшениями в структурированности и последовательности ответов. Модель может галлюцинировать факты, а цепочки рассуждений — становиться нестабильными, зацикливаться или отклоняться от задачи. Автор предупреждает, что прирост качества умеренный и не гарантирован; особенно важна проверка ответов о реальных событиях. Хотя метаданные классифицируют модель как image-text-to-text, README также описывает её как инструмент для аналитических задач, кода и математики.

txn545/Qwen3.5-35B-A3B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.5-35B-A3B, разработанной Alibaba. Квантизация выполнена с помощью NVIDIA Model Optimizer до формата NVFP4; модель предназначена для текстового ввода и генерации текста. Модель рассчитана на разработчиков, которым нужны готовые к развертыванию решения для AI Agent-систем, чат-ботов, RAG-систем и других приложений на базе ИИ. Она использует трансформерную архитектуру Qwen3.5-35B-A3B с 35 млрд параметров, из которых активируется 3 млрд, и поддерживает контекст до 262K токенов. Указанные сценарии инференса ориентированы на NVIDIA GPU, в частности архитектуру Blackwell, Linux и движок SGLang. Ключевое преимущество модели — предварительная NVFP4-квантизация весов и активаций линейных операторов в MoE-блоках, что предназначено для эффективного инференса на совместимом оборудовании. Ограничения включают зависимость от NVIDIA GPU и совместимой версии SGLang, а также возможные неточности, токсичные ответы и усиление предубеждений, унаследованных от обучающих данных базовой модели. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование с учетом требований базовой модели.

ZuzeTt/Qwen3.5-4B-heretic-GGUF — это децензурированная версия мультимодальной модели Qwen3.5-4B, основанной на разработках команды Qwen. Модель модифицирована с помощью Heretic v1.2.0 методом abliteration, направленным на снижение частоты отказов при ответах. Файлы представлены в формате GGUF и были квантизированы с использованием llama.cpp. Модель предназначена для задач обработки текста и изображений, включая диалоговые сценарии, рассуждения, программирование, работу с агентами и визуальное понимание. Базовая архитектура описана как авторегрессионная языковая модель с vision encoder, гибридной архитектурой Gated Delta Networks и разреженной Mixture-of-Experts. Она содержит около 4 млрд параметров, 32 слоя, скрытое измерение 2560 и поддерживает контекст до 262 144 токенов с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевая особенность этой версии — существенно меньшее количество отказов по сравнению с исходной моделью: в приведённом тесте 8 из 100 запросов против 99 из 100 у оригинала, при KL-дивергенции 0,0361. Это может повысить полезность модели в сценариях локального запуска и свободного диалога, но одновременно означает ослабление встроенных ограничений безопасности. Конкретный тип квантизации, требования к оборудованию и фактическое качество на прикладных задачах в README не указаны. Модель распространяется по лицензии Apache-2.0; ссылка на лицензию относится к базовой модели Qwen/Qwen3.5-4B.

Qwen3.8-27B-ULTIMATE-UNCENSORED-MTP-IQ4-GGUF-16GB — квантизированная GGUF-версия модели Qwen3.8-27B, подготовленная lemonyins на основе аблитерированной и «uncensored» сборки AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Модель предназначена для локального запуска и исследовательских или разработческих сценариев, где требуется модель класса 27B с уменьшенным потреблением памяти и без исходных контентных ограничений базовой сборки. Используется гибридная квантизация: основные attention-слои имеют формат IQ4_XS, а слои FFN — IQ3_S; применяется GGUF и поддержка TurboQuant для компактного KV-кэша. Вариант ориентирован на видеокарты с 16 ГБ VRAM. По данным README, на NVIDIA RTX 4060 Ti 16GB заявлена скорость около 20 токенов в секунду без MTP и около 30 токенов в секунду с multi-token prediction; с TurboQuant доступен контекст порядка 100–110 тысяч токенов без MTP и около 80 тысяч с MTP. Поддержка изображений возможна при подключении отдельного vision-проектора mmproj-BF16.gguf, при этом доступный контекст уменьшается примерно на 20 тысяч токенов. Сильные стороны модели — низкое потребление памяти, высокая скорость локального вывода, большой контекст и возможность speculative decoding через MTP. Ограничения связаны с потерями качества из-за квантизации FFN до IQ3_S, которые могут проявляться, например, в задачах на фактическое запоминание, а также с обязательной зависимостью заявленных показателей памяти от TurboQuant-enabled сборки llama.cpp. Приведённые показатели perplexity, VRAM и скорости требуют отдельной проверки именно для Qwen3.8. В README указана лицензия Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная модель, созданная HauhauCS на базе Qwen/Qwen3.8-27B. Она предназначена для генерации текста, рассуждений, агентских сценариев, анализа изображений и видео. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа на сложные запросы. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120 и FFN-размером 17408. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention, встроенный MTP/NextN для speculative decoding и дополнительный профиль HauhauCS FastMTP 32K для ускорения генерации. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки; для работы с изображениями и видео требуется отдельный vision-проектор BF16. Сильные стороны модели — сочетание текстовых, рассуждающих, агентских и мультимодальных возможностей базовой Qwen3.8-27B, большой контекст и варианты GGUF-квантизации от Q8_K_P до IQ2_M, совместимые с llama.cpp, LM Studio и другими GGUF-рантаймами. FastMTP может повысить скорость генерации, однако фактический выигрыш зависит от оборудования и программной поддержки. Ограничения включают отсутствие защитного поведения и отказов в Aggressive-варианте, что может быть нежелательно для надёжных агентских систем, а также потерю качества при использовании более сильной квантизации. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это квантованная версия Qwen3.8-27B, выпущенная HauhauCS в формате GGUF. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также анализа изображений и видео при использовании отдельного vision-проектора. Вариант Aggressive настроен на прямые ответы, минимальное вступление и отсутствие стандартного поведения отказа. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder, 64 слоями, размером скрытого состояния 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются языки English, Chinese и другие языки, заявленные как multilingual. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Встроенный NextN/MTP сохранён, а FastMTP добавляет отдельный профиль ускорения для контекста 32K и заявленное ускорение генерации. Сильные стороны модели — широкий контекст, текстовые и мультимодальные возможности, несколько вариантов квантования с разным соотношением качества и размера, а также ускорение speculative decoding через MTP. Ограничения включают отсутствие защитного поведения и отказов в Aggressive-режиме, что может быть нежелательно для надёжных агентских и критически важных сценариев; для них автор рекомендует Balanced-вариант, если он доступен. Для обработки изображений и видео требуется отдельный BF16 vision projector. Модель распространяется по лицензии Apache-2.0.

Qwen3-Next-80B-A3B-Instruct-8bit — языковая модель для генерации текста и диалогового взаимодействия, разработанная сообществом mlx-community на основе Qwen/Qwen3-Next-80B-A3B-Instruct от Qwen. Модель преобразована в формат MLX с использованием mlx-lm версии 0.27.1 и предназначена для запуска через библиотеку mlx-lm. Из README известно, что это 8-битная версия модели с архитектурой и характеристиками базовой модели Qwen3-Next-80B-A3B-Instruct, однако подробности об архитектуре, фактическом числе активных параметров, поддерживаемых языках, модальностях и размере контекста не указаны. Модель ориентирована на текстовую генерацию и может использоваться в чат-сценариях через встроенный chat template. Для работы требуется библиотека mlx-lm; пример запуска предполагает загрузку модели и токенизатора средствами Python. Ключевое преимущество модели — адаптация в MLX-формат и 8-битное представление, что делает её подходящей для экосистемы MLX и потенциально снижает требования к памяти по сравнению с полноточной версией. Ограничения, результаты оценивания и особенности качества в README не описаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507-GGUF — это квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет архитектуру и размер исходной версии Qwen3-235B-A22B-Instruct-2507; в названии указаны 235 млрд параметров и конфигурация A22B. Представлены варианты GGUF с разными уровнями квантизации — от Q2 до Q8_0 — размером примерно от 93 до 250 ГБ для указанных файлов. Более высокие уровни обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти. README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности. Сильной стороной являются разнообразие вариантов квантизации и возможность локального запуска, включая рекомендации Q6_K, Q5_K_M, Q5_K_S и Q4_K_M для разных компромиссов между качеством и требованиями к памяти. Ограничениями выступают очень крупный размер модели и высокие аппаратные требования; при низких уровнях квантизации качество снижается. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Thinking-2507, разработанной Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp; формат подходит для офлайн-сценариев на оборудовании с ограниченными ресурсами по сравнению с полной версией BF16. Модель относится к семейству Qwen3 и имеет заявленный размер 30B параметров, при этом в названии указано A3B. README не содержит сведений о поддерживаемых языках, длине контекста, конкретной архитектуре, мультимодальности и результатах тестирования. Доступны варианты от BF16 до различных уровней квантизации Q8_0, Q6, Q5, Q4, Q3 и IQ; они различаются размером файлов, качеством и требованиями к оперативной памяти. Версии Q6 и Q5 отмечены как высококачественные, Q4_K_M — как стандартный вариант для большинства сценариев, а Q3 предназначены для систем с небольшим объёмом памяти, но дают более низкое качество. Сильными сторонами являются широкий выбор квантизаций, совместимость с популярными локальными инструментами и возможность подобрать баланс между качеством, скоростью и потреблением памяти. Ограничения включают неизбежное снижение качества в более компактных вариантах, значительный размер файлов даже после квантизации и отсутствие в README сведений о лицензии, языках и максимальном контексте. Для корректного диалога рекомендуется использовать указанный в README шаблон prompt format с секцией <think>.

Spark-X2.5-4B-ASHQ1-GGUF — выпущенная wepiqx версия модели Spark-X2.5-4B в формате GGUF с квантованием ASHQ1 и калибровкой imatrix. Это плотная decoder-модель архитектуры spark2_5 примерно на 4,1 млрд параметров с 36 блоками, группированным многозапросным вниманием и чередованием полных и скользящих окон внимания. Нативный контекст базовой модели — до 1 млн токенов. Модель предназначена для диалога и генерации текста; базовая Spark-X2.5-4B также рассчитана на код, рассуждения, перевод и агентные сценарии. Репозиторий содержит варианты квантования разного размера: автор рекомендует ASHQ1 на 4000 MiB, для которого указано небольшое ухудшение perplexity относительно Q8_0 при экономии места. Приведённые измерения сделаны на сыром тексте без шаблона чата, а сам автор считает сравнение предварительным. Модель работает в llama.cpp со штатной поддержкой архитектуры spark2_5. Указана лицензия Apache-2.0. README описывает главным образом процесс квантования и результаты теста perplexity, а не отдельные оценки качества на прикладных задачах.

Leroy Dyer представляет SpydazWeb AI HumanAI RP — объединённую модель для генерации текста на основе Mistral 7B. Автор сообщает о длительном дообучении и слиянии нескольких моделей; метаданные указывают размер 7,1 млрд параметров, архитектуру Mistral и лицензию Apache-2.0. Карточка описывает модель как ориентированную на диалоги, ролевые сценарии, рассказывание историй и следование инструкциям, а также на структурированные ответы, планирование и генерацию кода. Модель рассчитана на текстовые сценарии, включая ролевые игры и персонажей, ответы на вопросы, перевод, суммаризацию, программирование и задачи с агентами или инструментами. В README также заявлена работа с изображениями и аудио через текстовые представления Base64 и спектрограммы, однако метаданные подтверждают только задачу text-generation, поэтому эти возможности следует считать заявлениями автора. Автор заявляет контекст до 512 тыс. токенов, но отмечает, что обучение в основном проводилось на последовательностях длиной 2048 токенов. Автор предупреждает, что модель может ошибаться и выдавать NSFW-контент; её ответы требуют проверки, особенно в медицинских и других чувствительных сценариях. Условия использования определяются лицензией Apache-2.0.

Trismal-NeurAmoclion-7B-Base-Ties — объединённая модель на основе Mistral, созданная JoPmt с помощью LazyMergekit. Она объединяет JoPmt/Trismal-HyperAmocles-7B-Base-Ties и Locutusque/NeuralHyperion-2.0-Mistral-7B методом TIES. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и принимает контекст до 32 768 токенов. Модель предназначена для генерации текста. Описание базовой модели указывает на поддержку сложных вопросов, научных рассуждений, генерации кода и диалогов; README не уточняет, насколько эти возможности сохраняются после слияния. Доступные сведения не описывают лицензию или языки модели.

WestLake-Munin-Cat-NorskGPT — объединённая модель на архитектуре Mistral, созданная с помощью LazyMergekit из шести моделей, включая NorskGPT-Mistral-7b, Munin, WestLake, MetaMath-Mistral и OpenHermes. Модель насчитывает 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования. Её можно применять для ответов на вопросы, написания и продолжения текстов, а также помощи с кодом и математическими задачами благодаря возможностям входящих в объединение моделей. Формат весов — safetensors; модель опубликована в феврале 2024 года. В карточке не приведены результаты оценки качества или отдельные инструкции по эксплуатации. Условия лицензирования в доступных данных не указаны.

Yuan2-2B-hf — плотная языковая модель с архитектурой YuanForCausalLM, разработанная IEIT System как часть семейства Yuan 2.0. Репозиторий содержит веса PyTorch; модель насчитывает около 1,9 млрд параметров и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и диалогов, а также для сценариев, где нужны понимание семантики, математические рассуждения, работа с кодом и знаниями. Разработчик предоставляет инструменты для дообучения и развёртывания инференса. Карточка приводит оценочные наборы GSM8K, AGIEval-GK-Math, HumanEval и TruthfulQA, но не содержит результатов именно для этой версии в доступной таблице. В README заявлена коммерческая возможность использования при соблюдении лицензии Yuan 2.0; код оригинального репозитория распространяется по Apache 2.0. Модель может выдавать неточные ответы и поддаваться вводящим в заблуждение инструкциям.