II.3Рефакторинг, миграция и модернизация

Locutusque/Orca-2-13b-SFT-v6 — плотная языковая модель семейства LLaMA, созданная полным дообучением microsoft/Orca-2-13b на наборах инструкций и диалогов, включая No Robots, EverythingLM, Capybara, Pure-Dove, LessWrong-Amplify-Instruct, Verified-Camel, Guanaco и OpenAssistant. Модель содержит 12,9 млрд параметров, использует архитектуру LlamaForCausalLM, распространяется в формате safetensors и рассчитана на контекст до 4096 токенов. Для запросов применяется шаблон ChatML. Модель предназначена для генерации ответов на инструкции и вопросы, рассуждений, суммаризации и программирования. В README приведены результаты оценивания на бенчмарках AI2 Reasoning Challenge и HellaSwag, а также значение test loss на Verified-Camel; эти показатели характеризуют отдельные тесты и не гарантируют качество во всех сценариях. В метаданных отмечена поддержка английского, французского, испанского, хинди и китайского языков. Использование регулируется лицензией Microsoft Research; перед применением следует учитывать её условия.

Phi-3-Medium-4K-Instruct — плотная языковая модель семейства Phi-3, разработанная Microsoft. Модель содержит 13,8 млрд параметров и рассчитана на контекст до 4096 токенов. Она обучена на синтетических данных и отфильтрованных общедоступных веб-текстах с упором на качество и рассуждения, а затем дообучена с помощью supervised fine-tuning и direct preference optimization для следования инструкциям и повышения безопасности. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно для сред с ограниченными вычислительными ресурсами и требованиями к задержке, а также для задач программирования, математики, логики и понимания текста. Она работает с текстом и ориентирована прежде всего на английский язык; для других языков качество может быть ниже. Весы доступны в формате safetensors, лицензия — MIT. Как и другие языковые модели, Phi-3-Medium-4K-Instruct может выдавать недостоверные или устаревшие сведения, предвзятые либо оскорбительные ответы. Генерацию кода следует проверять: обучающие данные для кода преимущественно охватывают Python и распространённые библиотеки.

Q36-35B-A3B-Opus4.7-Ablit-Heretic-OBLITERATUS-Hermes-MTP-Vision-Ollama — мультимодальная модель семейства Qwen3.6-35B-A3B, подготовленная разработчиком oktayd на основе производных Qwen и последующих reasoning-distillation, ablation, Heretic, OBLITERATUS и Hermes-этапов. Репозиторий содержит квантизированную версию GGUF для запуска через Ollama и llama.cpp. Модель предназначена для генерации текста, анализа изображений, рассуждений, программирования, агентных сценариев, function calling и работы с инструментами, включая терминал, файлы и репозитории. Архитектура — mixture-of-experts qwen3_5_moe: всего 35 млрд параметров, из них активируется около 3 млрд. Заявлены контекст до 262 144 токенов, поддержка английского языка, визуальный проектор F16, MTP и квантизация основного файла Q4_K_M. Сильными сторонами являются сохранённые Vision и MTP-компоненты, улучшенная точность следования инструкциям, возможности работы с кодом и инструментами, а также хорошие результаты в представленных тестах IFEval, HumanEval+, GSM8K и BBH. Ограничения включают отсутствие подтверждения совместного использования Vision и MTP в одном вызове, непроверенную полноценную поддержку Vision/MTP в Ollama, незавершённую валидацию FreeToken и нестабильность на отдельных задачах, где наблюдались зацикливание и усечение вывода. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-4B-Thinking-2507-unsloth-bnb-4bit — это 4-битная версия модели Qwen3-4B-Thinking-2507, подготовленная Unsloth на базе модели Qwen. Она предназначена для генерации текста и сложных задач рассуждения, включая логические и математические задачи, научные вопросы, программирование, следование инструкциям, использование инструментов, агентские сценарии и многоязычные запросы. Модель является авторегрессионной causal language model с 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding, 36 слоями и Grouped-Query Attention: 32 головы запросов и 8 ключей/значений. Она поддерживает контекст до 262 144 токенов и работает только в режиме рассуждения; увеличенная длина размышлений особенно ориентирована на сложные задачи. Формат предназначен для text-generation и использования через Transformers, а 4-битное квантование снижает требования к памяти по сравнению с полноразмерной моделью. К сильным сторонам относятся улучшенные результаты в рассуждении, математике, кодировании, следовании инструкциям, работе с инструментами и понимании длинного контекста. Ограничения включают работу только в thinking mode, потенциально значительный расход времени и ресурсов на длинные рассуждения, а также отсутствие в представленном README подробностей о поддерживаемых языках, точных требованиях к оборудованию и характеристиках квантования за пределами обозначения bnb-4bit. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-44GB-GPT5.6Sol-SFT-LynnStyle-GGUF — GGUF-сборка модели Qwen3.5-122B-A10B, опубликованная пользователем nerkyor. Модель предназначена для текстовой генерации, рассуждений, ответов на вопросы и программирования в среде llama.cpp. В репозитории также доступен опциональный мультимодальный vision projector для обработки визуального ввода; основной GGUF может использоваться отдельно для текстовых задач. Модель использует архитектуру qwen3next и содержит 807 тензоров. Это слойно-смешанная imatrix-assisted квантизация LynnStyle: наиболее важные компоненты сохранены в Q8_0, Q6_K или Q5_K, а значительная часть маршрутизируемых экспертных слоёв сжата до IQ2_XS. Основной файл занимает 44,61 ГБ, а вместе с mmproj — 45,23 ГБ. Указаны языки English и Chinese. Проверенный режим рассчитан на общий контекст 131 072 токена, Q4 K/V cache и полную выгрузку на GPU; пиковое потребление VRAM составило 45 551 МиБ. К сильным сторонам относятся сохранение высокой точности для attention, shared-expert и ключевых управляющих структур при существенном уменьшении размера, а также хорошие заявленные результаты без MTP: MMLU 91,6%, GPQA 86,4% и LiveCodeBench 82,0%. Ограничения — высокая требовательность к памяти, отсутствие MTP sidecar и необходимость использовать llama.cpp с рекомендуемыми настройками. LoRA step64 уже объединён с основным файлом и отдельно не требуется. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-9B — постобученная мультимодальная модель семейства Qwen3.5, опубликованная в формате Transformers командой Unsloth. Это причинная языковая модель с визуальным энкодером на 9 млрд параметров; архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Модель принимает текст и изображения, ведёт диалог, анализирует визуальные материалы, рассуждает и поддерживает вызов инструментов. Модель рассчитана на мультиязычное применение: карточка заявляет поддержку 201 языка и диалекта. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Веса сохранены в формате safetensors и совместимы с Transformers и рядом серверов инференса. Лицензия — Apache-2.0. Среди подходящих сценариев — вопросы по изображениям и визуальное понимание, многоязычный диалог, программирование, рассуждения и агентные задачи с использованием инструментов. Режим рассуждений включён по умолчанию; высокая пропускная способность и эффективность зависят от выбранного движка и его версии. Для длинного контекста требуются значительные ресурсы памяти, а при нехватке памяти рекомендуется уменьшить окно контекста.

FadedRedStar/Qwen3.5-9B-heretic-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-9B-heretic. Исходную модель разработала команда Qwen компании Alibaba, а квантизацию выполнил FadedRedStar на основе весов coder3101/Qwen3.5-9B-heretic. Суффикс heretic означает постобработку с помощью Heretic v1.2.0 и метода Multi-directional refusal suppression, направленного на снижение количества отказов модели. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, вызова инструментов и агентских сценариев. Она поддерживает обработку изображений через встроенный vision encoder и раннее объединение модальностей, формат запросов ChatML, 201 язык и диалект, а также контекст до 262 144 токенов с заявленной возможностью расширения примерно до миллиона токенов. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; языковая часть содержит около 9 млрд параметров, общий объём с vision encoder составляет примерно 10 млрд параметров. Модель по умолчанию генерирует рассуждения перед финальным ответом и поддерживает tool calling. Репозиторий предоставляет варианты квантизации Q4_K_M, Q5_K_M и Q8_0, а также отдельные vision-проекторы в форматах Q8_0 и BF16 для запуска с поддержкой изображений в llama.cpp. Q4_K_M рассчитан на баланс качества и потребления памяти, Q5_K_M — на более высокую точность, а Q8_0 — на близкое к исходному качество при больших требованиях к памяти. Для ускоренного декодирования доступны дополнительные MTP-файлы. Заявленные показатели обхода отказов являются самоотчётными и независимо не проверялись; изменение поведения безопасности может быть ограничением при использовании модели. Лицензия — Apache-2.0.

RobinsonLabs/Qwen3.5-REAP-262B-A17B-abliterated-GGUF — набор GGUF-квантизаций текстовой MoE-модели, опубликованный RobinsonLabs на основе OpenMOSE/Qwen3.5-REAP-262B-A17B. Базовая модель создана после pruning на 34% экспертов из Qwen3.5-397B-A17B: она содержит 262 млрд параметров, около 17 млрд активных на токен, 333 эксперта и выбирает 10 экспертов для каждого токена. Модель предназначена для генерации текста, рассуждений, программирования, математики, работы с фактами и выполнения инструкций. Архитектура qwen3_5_moe включает 60 декодерных слоёв: 45 слоёв с линейным вниманием DeltaNet и 15 слоёв с полным вниманием, а также скрытый размер 4096 и размерность головы 256. Заявлен нативный контекст до 262 144 токенов. Это только текстовый путь, без vision mmproj и MTP/NextN. Доступны варианты Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS, Q3_K_M, IQ3_M, IQ3_XS, IQ2_M, IQ2_XS и IQ2_XXS размером примерно от 69 до 186 ГБ; все варианты используют importance matrix. Модель подвергнута abliteration — снижению жёстких отказов на взрослом и творческом контенте с сохранением заявленных возможностей. По данным README, на проверочном наборе вредоносных запросов срабатывание отказов составило 1 из 25, способности оценены как сохранённые на уровне 5/5, а детские защитные ограничения сохранились в 10 из 10 случаев. Это не модель для содействия реальному правонарушению; результаты и поведение следует проверять самостоятельно, особенно у наиболее компактных IQ2-вариантов, поскольку они сильнее теряют точность. Лицензия — Apache-2.0.

Это квантованная сборка Qwen3.8-27B, подготовленная автором репозитория для запуска на Apple Silicon через oMLX. В основе — плотная мультимодальная архитектура Qwen3.5 с 27,8 млрд параметров, гибридом GatedDeltaNet и полнослойного attention, визуальным модулем в стиле SigLIP и контекстом до 256 тыс. токенов. Веса квантованы методом AWQ в среднем до 4,85 бита на параметр; размер сборки — 16,83 ГБ. Модель предназначена для диалогов, анализа изображений, программирования, математических и многошаговых задач. В README приведены результаты HumanEval, GSM8K и MMLU, близкие к исходной версии bf16 на использованных тестовых выборках. Интерфейс поддерживает вызов инструментов; для ускорения генерации доступна голова MTP. Для корректной загрузки требуется oMLX: README предупреждает, что другие загрузчики могут неверно обработать веса и выдавать некорректный текст. Для быстрой обработки длинного префикса требуется настроить указанные в карточке переменные окружения, пока исправление не включено в oMLX. Лицензия — Apache-2.0. Указанные языки в карточке модели не перечислены.

Qwen3.8-27B-GGUF — GGUF-квантизированная версия модели Qwen3.8-27B, подготовленная компанией ByteShape с использованием ShapeLearn. Этот метод подбирает тип данных отдельно для каждого тензора, чтобы сохранить высокое качество при малой разрядности. Модель предназначена для локального запуска на GPU через llama.cpp и поддерживает работу с изображениями благодаря встроенному vision projector. Модель ориентирована на математические задачи, программирование, общие знания, выполнение инструкций, многошаговые диалоги, мультиязычные сценарии, использование инструментов и агентные задачи. В выпуск входят пять вариантов размером от 8,8 до 13,1 ГБ и с разрядностью от 2,56 до 3,84 бит на вес, что позволяет выбирать баланс между требованиями к видеопамяти, скоростью и качеством. В GGUF также встроена MTP-голова для speculative decoding; для её использования нужен llama.cpp с соответствующими параметрами. Поддержка DFlash2 требует версии llama.cpp b10658 или новее. Сильными сторонами являются оптимизация под GPU, несколько вариантов квантизации и оценка на наборах тестов для математики, программирования, знаний, следования инструкциям и агентного использования. Ограничения включают потенциальное снижение качества по сравнению с базовой BF16-моделью из-за квантизации, необходимость подходящей видеопамяти и зависимость расширенных функций от версии llama.cpp. Модель распространяется по лицензии Apache-2.0.

palmfuture/Qwen3.8-27B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия Qwen3.8-27B, опубликованная palmfuture и основанная на модели Qwen/Qwen3.8-27B. Модель предназначена для диалогов, следования инструкциям, генерации кода, математических рассуждений и работы с изображениями. Заявлены английский, китайский и тайский языки, а также сценарии codeswitching. Модель использует гибридную архитектуру с обычным attention и линейным attention на основе Gated DeltaNet/Mamba; визуальный encoder сохранён в формате bf16, как и embeddings, lm_head, нормализации и MTP-компоненты. Основной набор линейных слоёв квантизован в int4 с uniform group_size=32. Указана поддержка контекста до 262144 токенов в конфигурации SGLang; пример для vLLM ограничен 8192 токенами. В комплект входят веса Multi-Token Prediction для speculative decoding, совместимые с SGLang и vLLM. К сильным сторонам относятся существенное снижение требований к памяти, совместимость с популярными inference-системами, поддержка vision-задач и ускорение генерации за счёт speculative decoding. К ограничениям относятся необходимость корректной настройки runtime: для SGLang рекомендуется mamba-ssm-dtype=float32, поскольку float16 может вызывать дрейф состояния и ошибки в тайских диакритических знаках на длинных диалогах. Модель распространяется по лицензии Apache-2.0.

darkc0de/Qwen3.8-27B-heretic — декензурированная версия Qwen/Qwen3.8-27B, созданная с помощью Heretic v1.4.0. Это плотная модель с 27 млрд параметров, построенная на архитектуре семейства Qwen3.5: языковая модель с визуальным энкодером, поддерживающая диалог и анализ изображений. В метаданных Hugging Face для неё указана задача image-text-to-text; исходная карточка также описывает понимание видео, но каталог не отмечает эту возможность отдельно. Модель предназначена для сложных запросов, программирования, исследований, многошагового планирования, работы с документами и визуальными материалами. Контекст составляет 262 144 токена с возможностью расширения до 1 000 000. Режим рассуждения включён по умолчанию и может настраиваться. По сравнению с исходной моделью, согласно карточке, частота отказов в указанной проверке снизилась с 89 до 64 из 100; это не гарантирует отсутствие отказов или пригодность ответов для любой задачи. Веса опубликованы в формате safetensors и совместимы с Transformers, vLLM и SGLang. Лицензия — Apache-2.0. В карточке не приведены языки модели; описание не приписывает ей поддержку конкретных естественных языков.

filvyb/Qwen3.8-27B-heretic-ara-GGUF — это GGUF-квантизированная версия модели coder3101/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B. Модель предназначена для генерации и анализа текста, программирования, профессиональных и исследовательских задач, долгих многошаговых агентских сценариев, а также понимания изображений и видео. В карточке указана архитектура causal language model с vision encoder и 27 млрд параметров. Модель использует 64 слоя, архитектуру с комбинацией Gated DeltaNet и Gated Attention, поддерживает управляемый режим рассуждений и имеет нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Она заявлена как мультимодальная модель для работы с текстом, изображениями и видео, однако сведения о поддерживаемых языках отсутствуют. Формат GGUF ориентирован на совместимое локальное инференс-развёртывание, но конкретные требования к памяти и варианты квантования в README не указаны. Ключевая особенность версии — abliteration, направленная на снижение частоты отказов: в приведённом сравнении модель отказалась выполнить 9 из 100 запросов против 92 из 100 у исходной Qwen3.8-27B, при KL-дивергенции 0,0349. Это может повысить полезность модели для сценариев, где требуется меньше ограничивающих отказов, но одновременно может ослаблять встроенные механизмы безопасного поведения. Модель распространяется по лицензии Apache-2.0.

Lucebox/Qwen3.8-27B-IQ4_XS-fast-GGUF — квантизированная GGUF-версия базовой модели Qwen/Qwen3.8-27B, подготовленная для проекта lucebox. Файл создан на основе IQ4_XS с imatrix-калибровкой от bartowski и полностью переквантизирован в IQ4_XS для снижения объёма и ускорения декодирования. Разработчик исходной модели — Qwen; сборку и оптимизацию файла выполнил Lucebox. Модель предназначена для генерации текста, программирования, математических задач и мультимодальных сценариев с анализом изображений. При использовании отдельного проектора Qwen3.8-27B-mmproj-Q8_0.gguf поддерживает ввод изображений через OpenAI-совместимый формат сообщений, до четырёх изображений за запрос. В README указан максимальный контекст до 131 072 токенов при соответствующей конфигурации сервера. Размер файла составляет 13,54 GiB. Для ускорения текстовой генерации предусмотрена совместная работа с черновой моделью DFlash2 и speculative decoding. Главное преимущество версии — более высокая скорость по сравнению с Unsloth UD-IQ4_XS: на указанном AMD Radeon AI PRO R9700 измерено 37,4 токена/с при обычном декодировании и 174,5 токена/с в сквозном тесте с draft-моделью. Компромисс — немного более низкое качество: относительно Q8_0 зафиксированы рост perplexity на 1,9%, top-1 agreement 92%, результат HumanEval 144/164 и GSM8K 171/200. Показатели зависят от оборудования, настроек и сценария; для задач, чувствительных к качеству, README рекомендует UD-IQ4_XS. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-8B-bf16 — конвертированная в формат MLX версия языковой модели Qwen3-8B, подготовленная сообществом mlx-community на основе Qwen/Qwen3-8B. Это плотная причинная языковая модель с 7,6 млрд параметров для генерации текста и диалогов; она также поддерживает следование инструкциям, рассуждения, работу с кодом и интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, а её контекст составляет до 40 960 токенов. Репозиторий содержит веса в safetensors и рассчитан на запуск через библиотеку MLX и пакет mlx-lm. Лицензия — Apache-2.0. Ограничения возможностей и качества унаследованы от базовой модели Qwen3-8B; в доступной карточке отдельно не описаны.

Карточка модели Epharim/Ternary-Bonsai-2-27B-mlx-2bit на Hugging Face совпадает с карточкой TechnoBaptist/Ternary-Bonsai-2-27B-mlx-2bit, поэтому описание составлено по ней. Bonsai 2 27B — производная от Qwen/Qwen3.8-27B модель семейства Prism ML для генерации текста, рассуждений и диалогов. Это плотный трансформер с гибридным вниманием, SwiGLU, RoPE и RMSNorm; языковые веса представлены в троичном формате {-1, 0, +1} с блочной Hadamard-ротацией. Репозиторий содержит веса в формате safetensors для MLX; заявлены 27,36 млрд параметров и контекст до 262 тыс. токенов. Модель также включает башню зрения, однако карточка этого варианта указывает основной задачей генерацию текста. Модель рассчитана на локальный запуск на устройствах Apple Silicon и совместимых GPU, в том числе для продолжительного анализа документов и кода, диалогов, рассуждений и сценариев с вызовом инструментов. Автор заявляет сохранение 98,2% среднего результата FP16-версии на 14 тестах, включая математику, программирование и использование инструментов. Троичное представление сокращает размер весов, но требует специализированных низкоразрядных ядер; скорость зависит от аппаратуры и реализации. Модель основана на Qwen/Qwen3.8-27B и распространяется по лицензии Apache-2.0. Для использования нужны совместимый runtime MLX и соответствующие низкоразрядные ядра; заявленные характеристики скорости и качества являются результатами автора и могут отличаться на конкретном оборудовании.

Yi-1.5-9B-Chat — диалоговая языковая модель семейства Yi, разработанная командой 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 8,6 млрд параметров, представленная в формате safetensors. Yi-1.5 продолжает предварительное обучение Yi на корпусе из 500 млрд токенов и проходит дообучение на 3 млн разнообразных примеров; версия Chat предназначена для диалога и следования инструкциям. Модель подходит для ответов на вопросы, рассуждений, задач по математике и программированию, а также понимания и краткого анализа текста. В карточке заявлен контекст 4 тыс. токенов; линейка Yi-1.5 также включает варианты с контекстом 16 тыс. и 32 тыс. токенов. README характеризует 9B Chat как сильную модель среди открытых моделей сопоставимого размера. Лицензия — Apache-2.0.

mobiuslabsgmbh/DeepSeek-R1-ReDistill-Qwen-7B-v1.1 — повторно дистиллированная версия DeepSeek-R1-Distill-Qwen-7B-7B модели, опубликованная Mobius Labs. Это плотная авторегрессионная языковая модель семейства Qwen2 для диалогов и генерации текста; она подходит для задач, требующих многошаговых рассуждений, включая математику и программирование. В README приведены результаты сравнительных тестов на ARC, HellaSwag, MMLU, GPQA, MMLU PRO и MUSR; показатели версии v1.1 выше исходной на части тестов и ниже на ARC. Модель содержит 7,1 млрд параметров, принимает текст и имеет контекстное окно до 131 072 токенов. Опубликована в формате safetensors, поддерживает интерфейс диалога и tool calling. Лицензия — MIT. README не сообщает языки обучения или оценки, поэтому языковую поддержку нельзя уточнить по этим данным.

Dolphin-2.9.2-Phi-3-Medium-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Dolphin 2.9.2 на базе unsloth/Phi-3-mini-4k-instruct. Оригинальную модель разработала команда cognitivecomputations, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, следования инструкциям, программирования, математических задач и агентских сценариев. В README указана поддержка английского языка и текстовая модальность. Доступны варианты от Q8_0 до Q2_K и IQ-квантизаций размером примерно от 4,19 до 14,83 ГБ. Для запуска используется шаблон чата с ролями system, user и assistant. Точное число параметров и размер контекста в README явно не указаны, однако базовая модель идентифицируется как Phi-3-mini-4k-instruct. Более высокие квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q4–Q6 и Q5_K_M указаны как рекомендуемые, тогда как низкобитные варианты экономят память ценой снижения качества. Модель распространяется по лицензии MIT.

Falcon3-3B-Instruct — языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Она предназначена для диалогов и выполнения инструкций, а также для задач рассуждения, понимания языка, программирования и математики. Модель содержит 2,8 млрд параметров и принимает текст, формируя текстовые ответы; поддерживает интерфейс вызова инструментов. Это трансформерный авторегрессионный декодер с 22 блоками, Grouped Query Attention, SwiGLU и RMSNorm. Контекстное окно — до 32 768 токенов. Модель подготовлена на веб-данных, коде, STEM-материалах и многоязычных данных, а затем дообучена на диалогах, инструкциях, коде, математике, безопасности и вызовах функций. Поддерживаемые языки: английский, французский, испанский и португальский. Для практического применения доступны веса в формате safetensors и библиотека Transformers. Лицензия — TII Falcon-LLM License 2.0; перед использованием следует ознакомиться с её условиями. Качество ответов может различаться в зависимости от языка и задачи; заявленные сильные результаты не гарантируют точности в каждом конкретном случае.

MLX-квантизированная версия Gemma 4 26B A4B instruction-tuned, разработанная сообществом mlx-community на базе модели Google gemma-4-26B-A4B-it. Квантизация выполнена с помощью mlx-optiq — инструментария для локального запуска и оптимизации больших языковых моделей на Apple Silicon без PyTorch и облачных сервисов. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, выполнения инструкций, tool calling и агентских сценариев. Модель использует смешанную точность: преимущественно 4-bit, при этом чувствительные слои переведены в 8-bit. Из 325 квантизированных слоёв 246 работают в 8-bit и 79 — в 4-bit; размер группы составляет 64. Калибровка проводилась на данных из шести доменов: обычный текст, рассуждения, код, агентские задачи, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 16,4 ГБ. Поддерживается speculative decoding с отдельной моделью-драфтером Gemma 4. Сведения о длине контекста, языках и мультимодальных возможностях в README не указаны. По приведённым результатам модель превосходит стандартную равномерную 4-bit-квантизацию по MMLU, GSM8K, HumanEval и длинноконтекстному извлечению HashHop; совокупный Capability Score составляет 75,76 против 72,95. При этом на IFEval и BFCL-V3 она немного уступает равномерной 4-bit-версии, а размер на диске примерно на 1,9 ГБ больше. Для использования требуется MLX-совместимое окружение, например Apple Silicon с пакетами mlx-lm или mlx-optiq. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; применяются условия Google Gemma.

IFM/K2-Horizon-32B-FP8 — открытая FP8-квантизированная версия K2-Horizon-32B-Stage1, разработанная IFM. Это плотная decoder-only языковая модель с 32 млрд параметров, предназначенная для генерации текста, агентских сценариев, программирования и задач рассуждения. Модель поддерживает английский язык и нативное контекстное окно до 524 288 токенов. Веса всех линейных слоёв, кроме lm_head, квантизированы в FP8: для весов используется статическое масштабирование по блокам 128×128, а для активаций — динамическое масштабирование по группам 1×128. По данным разработчиков, FP8-версия близка к исходной BF16-модели по результатам оценивания, при этом требует меньше памяти и обеспечивает более быстрый вывод на совместимом с FP8 оборудовании. Модель относится к этапу Stage1 обучения, а финальный чекпойнт на момент публикации ещё не выпущен, поэтому заявленные характеристики могут быть неполными. Указано, что тренировочные данные, рецепт и код обучения будут открыты, а промежуточные чекпойнты планируется публиковать для анализа изменений возможностей. Модель распространяется по лицензии Apache-2.0.

WhiskyAKM публикует GGUF-версию K2-Horizon-MoVA-36B-A4B, производной от IFM/K2-Horizon-MoVA-36B-A4B. Это разрежённая языковая модель архитектуры MoE с механизмом внимания Mixture-of-Values: всего 36 млрд параметров, из которых активны 4 млрд на токен. Модель предназначена для генерации текста и диалогов, рассуждений, программирования и агентных задач с использованием инструментов. Репозиторий содержит квантизованные в NVFP4 веса в формате GGUF для запуска через llama.cpp и совместимые движки. Заявленное контекстное окно — 524 288 токенов. Карточка отмечает английский язык. Лицензия — Apache-2.0. Для NVFP4 автор указывает оптимизацию под NVIDIA Blackwell и совместимое оборудование; фактическая производительность и доступность поддержки зависят от движка и аппаратуры.

unsloth/Llama-3.3-70B-Instruct-GGUF — GGUF-версия мультиязычной большой языковой модели Llama 3.3, разработанной Meta и подготовленной для распространения Unsloth. Это авторегрессионная instruction-tuned модель для генерации текста, диалогов, ответов на вопросы и работы с кодом в текстовых сценариях. Модель содержит 70 млрд параметров и использует оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA). Она принимает и генерирует мультиязычный текст, поддерживает контекст до 128 тыс. токенов и обучалась на более чем 15 трлн токенов публично доступных онлайн-данных; срез знаний — декабрь 2023 года. Указанные языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Для выравнивания поведения применялись supervised fine-tuning (SFT) и reinforcement learning with human feedback (RLHF). К сильным сторонам относятся большой контекст, диалоговая оптимизация, поддержка нескольких языков и генерация кода. Модель является статичной и обучена на офлайн-данных, поэтому не обладает актуальными знаниями без внешних источников; README также не содержит результатов конкретных бенчмарков или требований к оборудованию для запуска GGUF-версии. Использование регулируется кастомной коммерческой лицензией Llama 3.3 Community License Agreement.

winglian опубликовал текстовую генеративную модель на архитектуре Meta Llama 3 с 7,5 млрд параметров. Модель использует плотный авторегрессионный Transformer с Grouped-Query Attention и распространяется в формате safetensors. Метаданные указывают на контекст до 131 072 токенов; название репозитория также содержит «64k» и «PoSE».

QuantFactory/Llama-3-8B-Instruct-262k-GGUF — это квантизированная версия GradientAI модели Llama-3-8B-Instruct-262k в формате GGUF, созданная с использованием llama.cpp. Модель разработана Gradient на основе Meta-Llama-3-8B-Instruct при спонсорской поддержке вычислительных ресурсов Crusoe Energy. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также работы с большими текстовыми документами и контекстами. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention, содержит около 8 миллиардов параметров и работает только с текстом на входе и выходе. Контекстное окно расширено с исходных 8K до более чем 160K токенов; обучение проводилось с последовательностями до 262144 токенов. Для расширения контекста применялись NTK-aware interpolation, оптимизация параметра RoPE theta и прогрессивное обучение. Сильной стороной модели является поддержка очень длинного контекста при относительно небольшом размере, что подходит для анализа крупных документов и продолжительных диалогов. Ограничения включают ориентацию преимущественно на английский язык, текстовую модальность и возможные потери качества, связанные с квантизацией. Модель основана на Llama 3, предназначенной для коммерческого и исследовательского использования, и распространяется по пользовательской коммерческой лицензии Llama 3.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Meta Llama 3.1 8B Instruct. Исходную модель разработала Meta, а файлы в формате GGUF подготовил brittlewis12 с использованием llama.cpp и autogguf. Модель работает с текстом на входе и выходе; в метаданных указано, что поддерживается английский язык. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, рассуждений, решения математических задач, программирования и использования инструментов. Формат GGUF ориентирован на локальный запуск через совместимые приложения и llama.cpp, включая устройства Apple. В README также указаны улучшения для работы с длинным контекстом, однако точный размер контекстного окна не приведён. Ключевые достоинства — относительно небольшой размер 8B, возможность локального использования и хорошие результаты исходной модели на ряде тестов, включая HumanEval, GSM-8K, MMLU и API-Bank. Ограничения включают текстовую модальность, отсутствие сведений о конкретном типе и степени квантизации, а также возможное снижение точности по сравнению с полной версией из-за квантизации. Модель распространяется по лицензии Llama 3.1; применимые условия определяются лицензией Meta.

Это GGUF-версия Mistral-Small-4-119B-2603, подготовленная noctrex с квантизацией MXFP4 для тензоров MoE и BF16 для остальных тензоров. Для работы автор рекомендует использовать актуальную версию llama.cpp; для файла mmproj рекомендует вариант F32 для наилучшего качества. Основа — мультимодальная модель Mistral AI для диалогов, рассуждений, программирования, агентных задач и анализа изображений и документов; в карточке репозитория основной pipeline указан как генерация текста. BF16 для неквантизированных тензоров сохраняет их исходную точность и может давать более высокое качество, чем вариант с Q8, но на некоторых архитектурах работает медленнее. Репозиторий создан 17 марта 2026 года. Лицензия в предоставленных данных не указана.

richardyoung/mythos-9b-merged-heretic — модель для генерации текста и диалогов, созданная Richard Young на основе Qwen3-9B. Это декензурированная версия Mythos-9B, полученная с помощью Heretic v1.4.0; исходная Mythos-9B дообучалась на 47 824 примерах с трассами использования инструментов, командами оболочки, генерацией кода и многошаговыми рассуждениями. Модель поддерживает режим thinking и рассчитана на агентные сценарии с вызовом инструментов. Репозиторий содержит веса в формате safetensors. Контекст модели составляет 40 960 токенов, размер — 7,6 млрд параметров; в карточке указан английский язык. В сравнении с исходной Mythos-9B автор приводит 7 отказов из 100 проверок против 79 из 100 у исходной модели, а также низкую KL-дивергенцию 0,0211. Эти результаты описывают приведённые автором проверки и не гарантируют качество в других задачах. Модель распространяется по лицензии Apache 2.0.

NVIDIA-Nemotron-Labs-Teacher-STEM — большая языковая модель NVIDIA из семейства Nemotron 3 Ultra, предназначенная для сложных рассуждений и использования как самостоятельная модель и учитель для генерации синтетических данных и дистилляции. Она дообучена на основе постобученной Nemotron 3 Ultra Student с дополнительной настройкой на рассуждения и обучением с подкреплением; в рецепте также применяется дистилляция с участием нескольких учителей. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Она содержит 550 млрд параметров, из которых 55 млрд активны, и поддерживает генерацию текста с контекстом до 262 144 токенов по метаданным Hugging Face. Предназначена для математики, программирования, естественных наук, гуманитарных и общественных дисциплин, ответов на сложные вопросы и работы с инструментами, включая поиск и выполнение кода. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, арабский, китайский, иврит и бразильский вариант португальского. Карточка сообщает о возможности коммерческого и некоммерческого использования; лицензия в метаданных указана как other, поэтому конкретные лицензионные условия следует сверить с репозиторием. Для запуска требуются значительные вычислительные ресурсы и совместимое оборудование.