II.3Рефакторинг, миграция и модернизация

Qwen3.8-27B-AEON-ULTIMATE-U-BF16 — экспериментальная ранняя версия модели Qwen3.8-27B, подготовленная denyzhirkov. Это дообученная и аблитерированная BF16-версия с уменьшенным числом отказов; базовая модель — Qwen/Qwen3.8-27B. Плотная мультимодальная архитектура поддерживает диалог, следование инструкциям, вызов инструментов и работу с изображениями. В README описана проверка на NVIDIA H200 через vLLM; при тестировании использовалось окно 16 384 токена, а автор указывает, что базовая модель поддерживает контекст до 262 000 токенов. Модель рассчитана на прямые ответы, творческое письмо, исследования безопасности, red-team-тестирование и работу с запросами, которые базовая модель могла бы отклонить. Снятие части отказов может сделать ответы более доступными, но не гарантирует точности или безопасности. README предупреждает о повторениях и потере связности на очень длинных запросах; модель может выдавать опасный или незаконный контент. Лицензия — Apache-2.0.

Qwen3-Swallow-30B-A3B-CPT-v0.2 — языковая модель Swallow LLM, созданная на базе Qwen3-30B-A3B-Base методом продолжающегося предобучения. Это разреженная MoE-модель для генерации текста и диалогов; в метаданных указано 2,6 млрд параметров и контекстное окно 40 960 токенов. Модель ориентирована на японский и английский языки, включая японско-английский перевод, и сохраняет навыки решения математических задач и программирования. Модель подходит для генерации и продолжения текста, диалогов, перевода между японским и английским, а также задач по математике и коду. Разработчики сообщают об улучшенных языковых навыках японского и сохранении STEM-показателей после обучения на профильных корпусах. Для запуска авторы рекомендуют vLLM и ограничение контекста до 32 768 токенов. Модель не проходила специальное обучение для вызова инструментов и не поддерживает переключатель режима рассуждений. В README указано, что модель находится на ранней стадии исследований и разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

RWKV7-G1 «GooseOne» — семейство базовых языковых моделей от BlinkDL на архитектуре RWKV-7, сочетающей свойства рекуррентной сети и языковой модели с авторегрессионной генерацией. Модели предварительно обучены на веб-текстах, коде, синтетических данных, а также инструкционных, диалоговых и рассуждательных примерах; доступны варианты от 0,1 до 13,3 млрд параметров. Указаны словарь из 65 536 токенов и размер головы 64. Модели предназначены для генерации текста, диалога и рассуждений, а также для дальнейшего дообучения и адаптации под конкретные задачи. Автор отмечает локальный запуск на мобильных и настольных устройствах и высокую скорость инференса; приведённые показатели относятся к RWKV-7 7,2B на RTX 5090. В карточке описаны рекомендации по настройкам генерации и вызову функций. Карточка не сообщает длину контекста и не приводит сопоставимых оценок качества, поэтому производительность на конкретных задачах следует проверять отдельно. Модели распространяются по лицензии Apache-2.0.

SDLM-3B-D4 — языковая модель OpenGVLab, представленная в работе Sequential Diffusion Language Models. Это дообученная версия Qwen2.5-3B: плотная архитектура семейства Qwen2 с 3,1 млрд параметров, рассчитанная на генерацию текста и диалоговое применение. Модель использует последовательное блочное предсказание с маскированием, декодирование по самому длинному уверенному префиксу и повторное использование KV-кэша. Такой подход сочетает предсказание блоков в диффузионной схеме с заданным порядком декодирования. Модель предназначена для генерации текста, в том числе ответов в диалоге, и может быть полезна там, где важно ускорить вывод. Авторы сообщают о примерно двукратном ускорении относительно сопоставимых авторегрессионных моделей при сходном качестве и до пятикратного ускорения относительно других диффузионных языковых моделей; результаты зависят от порога уверенности и сценария оценки. Контекст — до 32 768 токенов. В метаданных указан английский язык; лицензия — Apache-2.0. Для запуска в README приведены зависимости Transformers 4.37.2 и PyTorch не ниже 2.5.0.

Atem-Pharaoh-3B-i1-GGUF — GGUF-квантизированная версия модели Atem-Pharaoh-3B, разработанной EphAsad и квантизированной mradermacher. Модель предназначена для генерации текста, диалоговых сценариев и задач рассуждения, включая математику, программирование, анализ и ответы в областях, представленных обучающими наборами. В обучении или дообучении использовались наборы с математическими, кодовыми, медицинскими и рассуждательными примерами, а также синтетические данные, полученные дистилляцией других моделей. Модель имеет около 3 миллиардов параметров и распространяется в формате GGUF для использования с совместимыми инструментами, включая llama.cpp. Доступны варианты с разными уровнями квантизации — от IQ1 и IQ2 до Q6_K; они различаются размером файлов, скоростью и качеством. Для баланса размера, скорости и качества в README рекомендуется вариант i1-Q4_K_M, а i1-Q4_K_S также отмечен как оптимальный по этим параметрам. Указан английский язык; сведения о поддерживаемых модальностях и размере контекстного окна отсутствуют. Сильными сторонами являются компактный размер, возможность локального запуска и специализация на рассуждении, математике, коде и диалогах. Ограничения связаны с потерями качества при низких уровнях квантизации и отсутствием подробных результатов оценивания. Модель распространяется по лицензии Apache-2.0.

BASH-Coder-Mistral-7B-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral-7B-Instruct-v0.2 и BASH-Coder-Mistral-7B методом SLERP. Она предназначена для генерации текста и ответов на инструкции с дополнительным уклоном в задачи программирования и работу с Bash. Модель построена на плотной архитектуре Mistral и содержит 7,1 млрд параметров; заявленная длина контекста — до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка не сообщает о специальных языках программирования, наборах данных или результатах оценки качества, поэтому преимущество в кодировании нельзя считать подтверждённым для конкретных языков или сценариев. Модель распространяется под лицензией Apache-2.0.

FlexOlmo-7x7B-1T — языковая модель семейства FlexOlmo, разработанная Allen Institute for AI (AI2). Это модель типа Mixture-of-Experts: в ней объединены семь независимо обученных экспертов для публичных данных, новостей, математики, кода, академических текстов, творческого письма и публикаций Reddit. Общий размер указан в карточке как 6,9 млрд параметров, а в README — как 33 млрд; README также сообщает, что публичный эксперт обучен на 1 трлн токенов, а остальные получены его дообучением на отдельных корпусах. Маршрутизатор экспертов не обучен. Модель предназначена для генерации текста и диалогового применения, в том числе для задач, связанных с перечисленными тематическими корпусами. Поддерживает английский язык, работает с текстом и имеет контекст до 4096 токенов. Для запуска README рекомендует Transformers версии 4.57.0 или новее. Репозиторий распространяется под лицензией Apache-2.0. В README приведены результаты оценки по ряду языковых и тематических бенчмарков, однако они относятся к отдельным плотным моделям, а не обязательно к этому MoE-чекпойнту. Отсутствие обученного маршрутизатора ограничивает выводы о фактическом выборе экспертов и качестве итоговой модели.

FuseChat-Qwen-2.5-7B-Instruct-Heretic-GGUF — языковая модель в формате GGUF, созданная на основе FuseAI/FuseChat-Qwen-2.5-7B-Instruct и опубликованная пользователем ChiKoi7. Базовая модель относится к семейству Qwen 2.5 и имеет 7 млрд параметров. FuseChat-3.0 разработана FuseAI с использованием неявного объединения возможностей нескольких крупных языковых моделей через Supervised Fine-Tuning и Direct Preference Optimization на данных предпочтений; в качестве целевой модели использовалась Qwen-2.5-7B-Instruct. Для данной версии дополнительно применён Heretic v1.0.1 — метод удаления ограничений на отказы от ответов. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая общие разговорные задачи, следование инструкциям, математику и программирование. По приведённому сравнению, версия Heretic отказалась от ответа в 3 случаях из 100 против 93 из 100 у исходной модели, при этом её KL-дивергенция относительно оригинала составила 0,07. Это указывает на существенно более редкие отказы при сохранении близкого поведения к исходной модели, однако одновременно означает потенциально менее выраженные защитные ограничения. В README не указаны поддерживаемые языки, размер контекстного окна, точная архитектура трансформера, требования к аппаратному обеспечению и конкретная лицензия. Также не приведены результаты независимой оценки качества после применения Heretic. Поэтому модель следует использовать с учётом возможного отсутствия встроенных ограничений безопасности; условия распространения необходимо уточнять по лицензии базовой модели и репозитория модели.

bartowski/gemma-2-27b-it-GGUF — это набор GGUF-квантизаций инструкционно дообученной текстовой модели Google Gemma 2 27B IT, подготовленный bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы пользователя, при запуске через llama.cpp и совместимые инструменты. В README не указаны поддерживаемые языки, максимальный размер контекста и дополнительные модальности, поэтому модель следует считать текстовой. Доступны варианты от F32 размером 108,91 ГБ до низкобитных Q2 и IQ2 размером около 9,40 ГБ. Квантизация выполнена с использованием imatrix; варианты Q6 и Q5 сохраняют очень высокое или высокое качество, а Q4 ориентированы на более экономное использование памяти. Низкобитные варианты требуют меньше ресурсов, но снижают качество и могут быть менее стабильными. Модель не поддерживает системный промпт; для диалогов необходимо использовать указанный в README формат ролей Gemma. Для доступа к исходной модели на Hugging Face требуется принять лицензию Google Gemma. README не содержит полного текста лицензии, поэтому перед использованием необходимо ознакомиться с её условиями и проверить их применимость к конкретному сценарию.

Это GGUF-представление Gemma-4-12B-it-AEON-Abliterated-K4-BF16 от mradermacher, подготовленное как набор статических квантованных файлов. Базовая модель — дообученная AEON-7 версия Gemma-4-12B-it; в её описании каталога указано удаление отказов. Репозиторий предназначен для запуска модели в совместимом с GGUF программном обеспечении. Модель используют для диалоговой генерации текста и следования инструкциям; метаданные также указывают на английский язык, чат и работу с кодом, рассуждениями и инструментами в базовом варианте. README перечисляет несколько вариантов квантизации, включая Q2_K и Q3_K, с разными размерами и компромиссами качества. Доступный вариант обозначен как GGUF BF16. Лицензия — Gemma; перед использованием следует учитывать её условия.

lemur-70b-chat-v1 — разговорная большая языковая модель OpenLemur, представленная в формате causal language model на архитектуре Llama. В репозитории указаны 68,7 млрд параметров, библиотека Transformers и веса PyTorch; модель создаёт текст по текстовому запросу и предназначена для диалогового использования. Метаданные также отмечают поддержку задач генерации кода. Модель рассчитана на английский язык, её родной контекст составляет 4096 токенов. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и запрещает коммерческое применение. README не содержит сведений о результатах оценки или специальных ограничениях качества.

Это квантованная в формате MXFP4_MOE сборка разговорной гибридной MoE-модели Ling-3.0-flash от Inclusion AI, опубликованная в формате GGUF. Она предназначена для генерации текста в диалогах; базовая модель также рассчитана на программирование и многошаговые агентные задачи. Для запуска в карточке рекомендуется llama.cpp. Сведения о размере модели, контекстном окне и поддерживаемых языках в доступных данных отсутствуют. Квантование уменьшает точность весов и предназначено для запуска модели в более компактном формате, однако доступные данные не содержат результатов оценки качества этой сборки. Лицензия не указана в предоставленных сведениях.

Это GGUF-квантизированная версия языковой модели Hermes-4-405B, разработанной NousResearch и подготовленной пользователем bartowski. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты на его основе. В основе лежит модель размером 405 млрд параметров; README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна. Доступны варианты квантизации от Q8_0 до Q2_K и IQ2/IQ3/IQ4, рассчитанные на компромисс между качеством, требованиями к памяти и скоростью инференса. Для квантизации использовался llama.cpp с imatrix и калибровочными наборами данных. Наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, однако даже компактные варианты требуют значительного объёма памяти. Сильной стороной являются высокое качество старших вариантов квантизации и возможность локального запуска в экосистеме llama.cpp. Ограничения — очень крупный размер файлов, снижение качества у низкобитных вариантов и отсутствие указанного формата промпта: README рекомендует уточнять его на странице исходной модели. Лицензия в предоставленных данных не указана.

Olmo-3-7B-Think-heretic — англоязычная авторегрессионная языковая модель семейства OLMo 3 с 6,9 млрд параметров, созданная Richard Young на основе allenai/Olmo-3-7B-Think. Это версия с abliteration, преобразованием, которое уменьшает склонность модели отказываться от ответов; модель предназначена для генерации текста в диалогах, рассуждений, математики и программирования. Контекстное окно составляет 65 536 токенов. Модель сохраняет возможности и связность исходной версии, однако по приведённой в карточке оценке всё ещё отказывает на части вредоносных запросов. Как и другие языковые модели, она может выдавать фактические ошибки, предвзятые или вредоносные ответы. Доступна по лицензии Apache 2.0; карточка рекомендует использовать её для исследований, творческого письма и обучения методам настройки безопасности.

TheBloke/openchat-3.5-1210-GGUF — это набор квантованных моделей в формате GGUF для OpenChat 3.5 1210, разработанной командой OpenChat. Квантование выполнил TheBloke. В основе используется архитектура Mistral, а модель предназначена для генерации текста и диалоговых сценариев. Модель обучалась на совокупности датасетов с диалогами, инструкциями, математическими задачами, программированием и отзывами о качестве ответов. Она подходит для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Доступны варианты квантования с разной точностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии, что позволяет выбирать баланс между требованиями к памяти и качеством генерации. README не указывает размер модели, поддерживаемые языки и длину контекста. Квантование снижает требования к ресурсам и упрощает запуск на CPU и GPU, но может немного ухудшать качество по сравнению с исходной неквантованной версией; степень влияния зависит от выбранного варианта квантования. Для корректного диалога рекомендуется шаблон OpenChat-Correct. Модель распространяется по лицензии Apache 2.0.

Карточка модели OpenYourMind/OpenYourMind-NVIDIA-Nemotron-3-Ultra-550B-A55B-abliterated-uncensored на Hugging Face совпадает с карточкой Laerins/OpenYourMind-NVIDIA-Nemotron-3-Ultra-550B-A55B-abliterated-uncensored, поэтому описание составлено по ней. OpenYourMind создала эту полноразмерную BF16-версию NVIDIA Nemotron-3-Ultra-550B-A55B с ослабленными отказами на типовых категориях запросов. По описанию автора, изменение выполнено офлайн-проекцией направления отказа на веса без дополнительного обучения и без изменения структуры базовой модели. Модель содержит 550 млрд параметров, из которых активно 55 млрд, и использует гибридную архитектуру Mamba-2, Attention и Latent-MoE; сохранены режим рассуждений enable_thinking и голова MTP для спекулятивного декодирования. Модель предназначена для диалоговой генерации текста, сложных рассуждений и технических или защитных запросов, на которые исходная модель могла отказывать. Контекст составляет 262 144 токена. Веса BF16 занимают около 1,1 ТБ и требуют мног GPU-развёртывания; автор указывает vLLM как вариант запуска. README заявляет сохранение связности, точности и многоязычной беглости, однако не приводит независимых оценок этих свойств. Лицензия — OpenMDW-1.1, унаследованная от базовой модели.

AtomicChat/Ornith-1.5-9B-GGUF — набор GGUF-сборок модели Ornith-1.5-9B, разработанной ornith-ai и конвертированной и протестированной командой AtomicChat. Модель предназначена для локального запуска через llama.cpp, диалоговых сценариев, работы с изображениями и задач, связанных с агентным программированием. Поддержка изображений обеспечивается отдельным vision projector; для текстового режима проектор можно не использовать. Это модель примерно на 9 млрд параметров, доступная в вариантах от BF16 до низкобитных квантований. Размер файлов составляет примерно от 2,81 до 17,9 ГБ, а вариант vision projector занимает около 0,92 ГБ. Для запуска с изображениями рекомендуется учитывать также дополнительное потребление памяти; в README приведены ориентиры для контекста 8K. Языки и точное устройство базовой архитектуры в карточке не указаны. Сильная сторона сборок — наличие вариантов под видеопамять от 4 до 24 ГБ и специализированных importance-aware квантований AD, которые на некоторых уровнях дают лучшее соотношение размера и точности, чем стандартные пресеты llama.cpp. В частности, AD-Q5_K-Q4_K показывает 93,10% совпадения следующего токена с BF16-эталоном, тогда как самые агрессивные варианты существенно снижают качество: у AD-IQ2_XXS-IQ1_M совпадение составляет 53,74%. Поэтому малые файлы опубликованы главным образом для совместимости, а не как рекомендуемые варианты. Распространение указано под лицензией MIT. Для работы с изображениями требуется совместимый vision projector, а запуск зависит от llama.cpp и доступного объёма памяти.

Qwen3.5-9B Opus 4.6 Reasoning Distill — текстовая диалоговая модель Empero AI, дообученная на рассуждениях Claude Opus 4.6 и Qwen. Она предназначена для пошагового анализа задач и формирования ответа после блока рассуждений в специальных тегах. Модель основана на Qwen/Qwen3.5-9B; для обучения применялся supervised fine-tuning с QLoRA 4-bit. В метаданных указаны 7,2 млрд параметров, контекст до 262 144 токенов и формат safetensors; README сообщает о максимальной длине последовательности 4096 токенов при обучении. Поддерживается английский язык. Модель подходит для диалоговых запросов, решения задач с многошаговым рассуждением и помощи в программировании. Как и другие модели, обученные на трассах рассуждений, она может ошибаться и выдавать убедительно звучащие, но неверные выводы; качество на независимых задачах в карточке не подтверждено. Доступна по лицензии Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая мультимодальная fine-tune-модель на базе Qwen3.6-27B, опубликованная nostrbuild при участии нескольких разработчиков и команд, включая DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh. Модель распространяется в формате GGUF, включая обычные и MTP-варианты с NEO IMATRIX-квантованием, и предназначена для запуска на потребительском оборудовании. В описании заявлены улучшенное следование инструкциям, решение задач, рассуждение и общее повышение интеллектуальных возможностей. Модель рассчитана на широкий круг сценариев, включая программирование, диалоги, анализ, творческое письмо и roleplaying, хотя специально не оптимизировалась только под творчество. Также заявлена поддержка vision. Указанные языки — английский и китайский. Размер базовой модели — 27B параметров; точное архитектурное устройство и размер контекстного окна в README не приведены. Доступны кванты с разрядностью 4 и 8 бит, а также варианты MTP для многотокенного предсказания. Для MTP рекомендуется температура не выше 1 и отключённая repetition penalty; при низкой доле принятия токенов следует использовать обычный квант. Автор заявляет превосходство над базовой Qwen3.6-27B в шести из семи тестов и сопоставимый результат в седьмом, однако эти результаты приведены без независимой проверки. Сильными сторонами заявлены instruction following, reasoning, problem solving, сохранение возможностей базовой модели, поддержка vision и хорошее качество даже у низкоразрядных квантов. Ограничения включают зависимость качества и производительности от выбранного кванта и настроек MTP, а также заявленный uncensored/heretic-профиль, который может означать ослабленные ограничения безопасности. Модель распространяется по лицензии Apache-2.0.

tripolskypetr/Qwen3.6-Uncensored-Aggressive-GGUF — это GGUF-квантизированная мультимодальная версия Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive, основанная на модели Qwen/Qwen3.6-35B-A3B. В README указано, что вариант разработан HauhauCS как версия без отказов в ответах; исходная архитектура относится к семейству Qwen. Модель предназначена для генерации текста, рассуждений, программирования и работы с изображениями и видео, включая сценарии, где требуется минимальное применение встроенных ограничений безопасности. Модель использует архитектуру MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на проход, 256 экспертами и маршрутизацией к 8 экспертам для каждого токена. Она содержит 40 слоёв, сочетает линейное внимание с полным softmax-вниманием в соотношении 3:1 и поддерживает нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео; заявлены английский, китайский и другие языки. Для визуального ввода требуется отдельный файл mmproj. Сильными сторонами являются большой контекст, мультимодальность, высокая вычислительная эффективность MoE и широкий выбор квантизаций, включая оптимизированные K_P-варианты для llama.cpp, LM Studio и других GGUF-совместимых сред. Агрессивный вариант полностью снимает отказы, поэтому может генерировать потенциально небезопасный или нежелательный контент; это одновременно является его ключевой особенностью и ограничением для ответственных применений. README не сообщает результаты независимых бенчмарков и не уточняет точный набор языков. Модель распространяется по лицензии Apache-2.0.

constructai/VibeThinker-3B-GGUF — это квантизированная версия языковой модели VibeThinker-3B, разработанной WeiboAI и преобразованной в формат GGUF командой constructai. Модель предназначена для генерации текста и эффективного запуска на CPU и GPU с помощью llama.cpp, Ollama, LM Studio и других совместимых средств. Модель содержит около 3 миллиардов параметров и ориентирована на задачи рассуждения, математики, программирования, instruction-following и оценки уровня GPQA. Доступны варианты с разными уровнями квантизации и размером файлов примерно от 791 МБ до 6,18 ГБ, включая F16, Q8_0, Q6_K, Q5_K, Q4_K и другие форматы. README не указывает поддерживаемые языки, максимальную длину контекста и наличие мультимодальных возможностей, поэтому модель следует считать текстовой, а эти характеристики — неизвестными. К сильным сторонам относятся относительно небольшой размер, широкий выбор квантизаций и возможность локального запуска на доступном оборудовании. Более агрессивная квантизация уменьшает требования к памяти, но может снижать точность по сравнению с F16 или менее сжатыми вариантами. Модель распространяется по лицензии MIT; исходная модель также указана как лицензированная по MIT.

airoboros-33b-gpt4-1.4 — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, дообученная Джоном Дёрбином методом QLoRA на синтетических данных, созданных GPT-4. Модель предназначена для диалогов с ассистентом, ответов на вопросы по заданному контексту, написания текстов и кода, ролевых бесед, загадок и викторин. Для программирования обучающие примеры включают задачи Rosetta Code на десяти языках программирования. Модель принимает текст и генерирует текст; для диалогов использует шаблон Vicuna 1.1 и обученный формат с ролями пользователя и ассистента. В карточке указан контекст длиной 2048 токенов. При ответах по предоставленному контексту модель настраивали опираться на него и ограничивать выдуманные сведения, однако README отмечает, что этот режим лучше дополнительно инструктировать не придумывать неизвестные ответы. Автор пометил модель как ещё не протестированную, поэтому её качество и надёжность не подтверждены. В README также указано, что она формировалась для ответов без отказов, в том числе независимо от законности или морали запроса. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Olmo-3-32B-Think-GGUF — это набор квантизированных GGUF-версий языковой модели Olmo-3-32B-Think, разработанной Allen Institute for AI (allenai) и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Варианты представлены в форматах от BF16 до низкобитных Q- и IQ-квантизаций; размер файлов составляет примерно от 13 до 64 ГБ. Доступен англоязычный режим, поскольку в карточке указано только English. Модель относится к текстовым, а не мультимодальным системам. Архитектура и размер контекстного окна в README не указаны. Главное преимущество набора — возможность выбрать компромисс между качеством и требованиями к памяти: варианты Q6 и Q5 обеспечивают очень высокое качество, Q4 подходят для большинства сценариев, а Q3 и IQ3 рассчитаны на системы с ограниченным объёмом RAM, но заметно уступают по качеству. Ограничения включают отсутствие заявленной поддержки других языков, неизвестные характеристики контекста и необходимость достаточно производительного оборудования для крупных версий. Квантизация выполнена с использованием imatrix и llama.cpp. Лицензия модели — Apache-2.0.

Это набор GGUF-квантизированных версий языковой модели Gemma 3 40B, разработанной ddh0 и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска в совместимых приложениях, включая LM Studio, llama.cpp и другие проекты на его основе. В набор входят варианты от BF16 до низкобитных Q2 и IQ-квантизаций размером примерно от 15,5 до 79,6 ГБ. Доступны различные уровни компромисса между качеством, требованиями к памяти и скоростью инференса; наиболее качественными и рекомендуемыми в README названы варианты Q6_K, Q6_K_L, Q5 и Q4. Архитектура, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Сильной стороной модели является широкий выбор квантизаций, позволяющий адаптировать запуск к доступным ресурсам, при этом старшие варианты сохраняют качество, близкое к исходной модели. Низкобитные варианты требуют меньше памяти, но могут заметно уступать по качеству. Для модели не указан отдельный chat template, поэтому используется шаблон по умолчанию, который может быть некорректным; рекомендуется сверяться с карточкой исходной модели. Лицензия указана как Gemma.

DeepSeek-V4-Flash-0731-GGUF — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанной deepseek-ai и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp и Text Generation Web UI. Модель содержит 284 млрд параметров, поддерживает текстовый ввод и поставляется только в формате MXFP4. Доступен вариант размером около 156,38 ГБ, сохраняющий исходное качество квантизации. В модели предусмотрены веса MTP (Multi-Token Prediction) в виде отдельной DSpark draft-модели, которую можно использовать для speculative decoding и ускорения генерации. Языки, максимальная длина контекста и дополнительные модальности в README не указаны. К сильным сторонам относятся большой размер модели, сохранение исходного качества MXFP4 и возможность ускорения вывода с помощью DSpark. Ограничения включают очень высокие требования к дисковому пространству и аппаратным ресурсам, отсутствие imatrix-калибровки на момент публикации и неопределённость стандартного chat template, который может быть задан некорректно. Модель распространяется по лицензии MIT.

DeepSeek-V4-Flash-0731 GGUF — это набор GGUF-конвертаций и экспертно подобранных квантованных вариантов базовой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek AI. Репозиторий подготовлен bullerwins для запуска через llama.cpp и предназначен для генерации текста, включая локальное инференс-развёртывание и агентские сценарии. Модель использует разреженную MoE-архитектуру с маршрутизируемыми экспертами. В репозитории доступны варианты размером от 81,86 до 150,75 GiB, а также компактный DSpark-компаньон размером 10,15 GiB для speculative decoding. Представлены lossless-вариант MXFP4/BF16, смешанные IQ2_XS/IQ3_XXS-квантизации и версии с IQ2_XS или IQ3_XXS для экспертов. Квантизации позволяют выбирать компромисс между размером и качеством: по тестам на Wikitext-2 lossless-вариант обеспечивает полное совпадение с эталоном, тогда как квантованные варианты показывают от 75,082% до 84,094% совпадения наиболее вероятного токена. Сильной стороной набора является широкий выбор практических вариантов, сохранение native MXFP4 для части экспертных тензоров и оценка качества по KLD и совпадению токенов. Ограничения — очень высокие требования к дисковому пространству и памяти, а также снижение качества у более компактных квантований. Сведения о поддерживаемых языках, размере контекста и подробных модальностях в предоставленной карточке отсутствуют. Указана лицензия MIT; для формата чата, архитектурных деталей и рекомендуемых параметров сэмплирования предлагается обращаться к карточке исходной модели. Рекомендуемые параметры: temperature 1.0, top_p 0.95 для агентских сценариев и top_p 1.0 в остальных случаях.

DeepSeek-V4-Flash-0731 REAP K160 — экспериментальный производный чекпойнт модели DeepSeek-V4-Flash-0731 от DeepSeek, созданный пользователем 0xSero с применением метода REAP. Модель предназначена для исследовательского использования и инференса в условиях ограниченной памяти, включая генерацию текста, программирование, рассуждения, вызов инструментов и агентские сценарии. Это неофициальный релиз DeepSeek. Модель использует архитектуру Mixture-of-Experts: в каждом MoE-уровне сохранено 160 из 256 маршрутизируемых экспертов, то есть удалено 37,5% экспертов, при этом маршрутизация top-6, общие эксперты, attention, embeddings, output head, mHC, compressor и indexer tensors сохранены. В backbone предусмотрено 43 MoE-слоя, а также 3 DSpark MTP-блока. Заявлены английский и китайский языки. Контекст проверен на конфигурации 8192 токенов, однако полные характеристики контекста в README не указаны. Чекпойнт содержит 48 шардов Safetensors и около 107,8 млрд байт данных. К сильным сторонам относятся существенное сокращение числа экспертов и требований к памяти, структурная валидация всех тензоров и успешная базовая проверка генерации и программирования. Ограничения включают экспериментальный статус, возможное снижение качества из-за агрессивного pruning, отсутствие свежего наблюдения для весов версии 0731, отсутствие подтверждения паритета с исходной моделью по бенчмаркам и отдельную необходимость проверки совместимости DSpark MTP. Для запуска требуется DeepSeek-V4-совместимый runtime; generic Transformers может не поддерживать необходимые MXFP4, sparse-attention, tokenizer и DSpark MTP-компоненты. Производная распространяется по лицензии MIT.

HopCoder Mini 35B A3B VL36 Full-SFT GGUF — это конверсия и набор GGUF-квантовок модели TaimoorSiddiqui/HopCoder-Mini-35B-A3B-VL36-fullsft, разработанной TaimoorSiddiqui. Модель получила 400 шагов full fine-tuning и предназначена для запуска через llama.cpp, включая сценарии генерации текста, vision-language задач и агентских приложений с вызовами инструментов. Формат вызова инструментов использует JSON внутри тегов <tool_call>. Архитектура относится к классу mixture-of-experts (MoE) и обозначена как 35B A3B; точные параметры модальностей, размер контекста и языковая поддержка в README не указаны, за исключением английского языка в метаданных. Репозиторий содержит варианты от BF16 и F16 до различных квантовок Q2–Q8 и TQ2, что позволяет выбирать компромисс между качеством, размером файлов и требованиями к ресурсам. Квантовки низкой точности IQ2_*, IQ3_*, IQ4_* и Q2_K_S отсутствуют, поскольку требуют importance matrix calibration, которая не применялась. Лицензия указана как other. Обучающий набор включает источники с лицензиями Apache-2.0, AGPL-3.0, MIT и other, поэтому производную модель нельзя автоматически считать распространяемой на условиях permissive-лицензии; условия использования следует проверять отдельно.

Это текстовый контрольный пункт Gemma 4 26B A4B, структурно сокращённый автором jayzou3773 методом Less-is-MoE. В модели удалено 50% нейронов FFN маршрутизируемых экспертов; при подготовке использовались 128 калибровочных примеров и настройки последовательности длиной 8192 токена. Оптимизационных шагов не выполнялось, веса сохранены в BF16. Контрольный пункт содержит языковую башню causal language model без визуальной башни, поэтому предназначен для генерации текста, а не для обработки изображений. Модель подходит для текстовой генерации на базе Gemma 4, например для диалогов, рассуждений и программирования, унаследованных от базовой модели. В метаданных указаны 2 млрд параметров и нативный контекст 262144 токена; эти значения описывают контрольный пункт в каталоге, тогда как README сообщает о последовательности калибровки длиной 8192 токена. Лицензия — Apache-2.0. README не приводит оценок качества после структурного сокращения, поэтому фактическую сохранность возможностей базовой модели следует проверять на целевых задачах.

LumiOpen Llama-Poro-2-70B-base — базовая языковая модель, разработанная AMD Silo AI, группой TurkuNLP Университета Турку и HPLT. Это плотный декодерный трансформер на архитектуре Llama 3.1 с 69,5 млрд параметров; модель создана продолжением предобучения Llama 3.1 70B на 165 млрд токенов, чтобы усилить поддержку финского языка, сохранив навыки английского, программирования и математики. Контекст модели составляет 8192 токена; доступны веса Safetensors, библиотека Transformers, лицензия Llama 3.1 Community License. Это базовый чекпойнт для дальнейшей тонкой настройки, а не готовая инструкционная модель. Он подходит как основа для разработки финно- и англоязычных генеративных приложений, включая генерацию текста и кода, математические задачи и перевод между финским и английским. В карточке отмечено улучшение результатов на финских бенчмарках относительно Llama 3.1 70B при сохранении сильных результатов на английском. Модель слабее владеет языками, кроме финского и английского; ответы могут быть фактически неверными, предвзятыми или неподходящими. Для большинства прикладных сценариев требуется дополнительная настройка.