II.3Рефакторинг, миграция и модернизация

mrfakename/Apriel-5B-Instruct-llamafied — приблизительная конверсия Apriel-5B-Instruct в формат Llama, опубликованная пользователем mrfakename. Это плотная языковая модель с архитектурой LlamaForCausalLM примерно на 4,6 млрд параметров, предназначенная для генерации текста и диалогов. Модель принимает текст и выдаёт текст; заявленный контекст — 16 384 токена. Формат Llama упрощает запуск и совместимость с популярными средствами дообучения; для использования в Transformers не требуется trust_remote_code. Модель подходит для ведения диалога, выполнения инструкций, рассуждений, помощи с кодом и генерации текста — эти сценарии унаследованы от исходной Apriel-5B-Instruct. В карточке базовая модель описана как англоязычная; поддержка других языков отдельно не подтверждена. Файлы представлены в формате safetensors. Лицензия — MIT, как у исходной модели.

bartowski/cognitivecomputations_Qwen3-72B-Embiggened-GGUF — это набор GGUF-квантизаций языковой модели Qwen3-72B-Embiggened, разработанной cognitivecomputations. Квантизации подготовлены bartowski с использованием llama.cpp версии b5627 и метода imatrix. Модель предназначена для генерации текста и локального инференса через llama.cpp, LM Studio и совместимые проекты. В набор входят варианты от Q8_0 до Q3_K и IQ3/IQ4, размером примерно от 31,76 до 77,26 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти; Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые, тогда как некоторые варианты Q3 имеют заметно более низкое качество. Отдельные файлы используют legacy-форматы или особенности, оптимизированные для ARM, AVX или Apple silicon. README не содержит сведений о точной архитектуре исходной модели, поддерживаемых языках, максимальном контексте, мультимодальности, результатах тестирования или специализированных сценариях применения. Поэтому модель можно уверенно охарактеризовать как крупную текстовую LLM для локальной генерации текста, но её конкретные возможности следует уточнять в документации исходной cognitivecomputations/Qwen3-72B-Embiggened. Распространение указано по лицензии Apache-2.0.

Dolphin3.0-Llama3.2-3B-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Dolphin3.0-Llama3.2-3B, опубликованный пользователем bartowski. Базовая модель разработана cognitivecomputations. Модель предназначена для локального запуска в llama.cpp и совместимых приложениях, включая LM Studio, а также для генерации текста, следования инструкциям, решения математических задач, программирования и сценариев с вызовом функций. Модель содержит около 3 млрд параметров и работает с текстом на английском языке. В обучении использовались датасеты для instruction tuning, программирования, математических задач, function calling, агентных сценариев и диалогов. В репозитории представлены варианты от полноточных F32 и F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ; размеры файлов варьируются примерно от 1,5 до 12,9 ГБ. Квантизации выполнены с использованием imatrix и llama.cpp. Сильными сторонами являются небольшой размер базовой модели, возможность локального запуска на ограниченных ресурсах и выбор между качеством и потреблением памяти. Более высококачественные варианты Q6 и Q5 отмечены как близкие к исходной модели, а Q4_K_M рекомендован как сбалансированный вариант. Ограничения включают небольшой размер модели, заявленную поддержку только английского языка и снижение качества на более сильной степени квантизации. Для работы рекомендуется использовать указанный chat-шаблон с маркерами ролей. Лицензия указана как llama3.2.

voidsip/gemma-4-26B-A4B-it-abliterated-Q4_0-GGUF — это GGUF-квантизация модели Gemma 4, разработанной Google. Репозиторий voidsip содержит только конвертацию формата; базовая модель и её abliteration предоставлены Google и huihui-ai соответственно. Модель предназначена для генерации текста и поддерживает работу через llama.cpp, включая вызов инструментов. Она является reasoning-моделью и может выдавать рассуждения в поле reasoning_content перед основным ответом. Архитектура — MoE: 25,2 млрд параметров всего и около 3,8 млрд активных на токен, 128 экспертов с маршрутизацией top-8. Используется квантизация Q4_0, размер файла составляет около 13 755 MiB, все 658 тензоров сконвертированы. В README указана поддержка контекста до 64K; языки и мультимодальные возможности не описаны. Благодаря разреженной активации модель может работать существенно быстрее плотной модели сопоставимого размера; на RTX 5090 заявлены примерно 219 токенов/с при генерации и 213 токенов/с при обработке промпта. К ограничениям относятся требования к совместимому рантайму и аппаратному обеспечению. Для FreeToken на Windows нужны ninja, nvcc с настроенной CUDA_HOME и MSVC cl.exe. Abliteration удаляет исходное поведение отказа, поэтому модель может не отклонять запросы, которые отклоняла базовая версия; это не отменяет ограничений допустимого использования. Модель распространяется на условиях Gemma Terms of Use, включая Gemma Prohibited Use Policy.

Это набор GGUF-квантизованных версий Granite 3.2 8B Instruct — инструкционной языковой модели, разработанной IBM под именем ibm-granite. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия в приложениях, поддерживающих llama.cpp, включая LM Studio и другие совместимые проекты. Модель имеет размер 8 миллиардов параметров и относится к текстовым моделям: сведения о поддержке изображений, аудио или других модальностей в README отсутствуют. Также не указаны поддерживаемые языки и размер контекстного окна. Доступны варианты квантования от Q8_0 до Q3 и IQ3/IQ4, размером примерно от 3,59 до 8,68 ГБ. Более высокие варианты обычно обеспечивают лучшее качество, а менее точные позволяют снизить требования к оперативной памяти; в README рекомендуются, в частности, Q4_K_M, Q5 и Q6 версии. Сильные стороны модели — локальный запуск, широкий выбор компромиссов между качеством и потреблением памяти, а также совместимость с экосистемой llama.cpp. Ограничения связаны с потерями качества при низком уровне квантования и зависимостью от совместимого программного обеспечения и аппаратных ресурсов. Для корректного диалога следует использовать указанный в README шаблон prompt format. Для набора указана лицензия Apache-2.0.

SirSahOl подготовил 16-битную версию модели IFM/K2-Horizon-0.9B для запуска на компьютерах Apple Silicon с помощью MLX. Это плотная причинная языковая модель примерно на 924,5 млн параметров с контекстом до 8192 токенов, предназначенная для диалогов и генерации текста. Базовая модель описана как компактная модель для рассуждений, математики и программирования; эти возможности унаследованы от неё. Модель распространяется в формате safetensors и рассчитана на запуск через MLX. README приводит замеры на Apple M1 и рекомендации по объёму памяти для разных вариантов точности. Для этой версии требуется Apple Silicon M1 или новее; при работе с контекстами длиннее 8 тысяч токенов качество может снижаться. Лицензия — Apache 2.0.

QuantFactory/Llama-3-KoEn-8B-GGUF — квантизированная версия модели beomi/Llama-3-KoEn-8B, созданная с помощью llama.cpp. Исходная модель разработана Junbum Lee (Beomi) на основе Llama 3 8B; обучение продолжалось на корпусе на корейском и английском языках при поддержке программы TRC и выполнялось на TPUv4-256. Модель предназначена для генерации текста и кода, а также для адаптации к различным задачам обработки естественного языка. Это авторегрессионная языковая модель с оптимизированной архитектурой Transformer и механизмом GQA. Доступен один вариант размером 8B параметров, с контекстом до 8k токенов и объёмом обучения более 80B токенов. На вход принимает только текст и генерирует текст или код; модель является статичной и обучена на офлайн-данных. README не уточняет конкретный формат квантизации и его влияние на производительность или качество. К сильным сторонам относятся поддержка корейского и английского языков, относительно компактный размер и возможность локального запуска благодаря квантизации. Ограничения включают статус предварительного релиза, дату отсечения знаний — июнь 2023 года, отсутствие встроенной инструкционной настройки у базовой модели и необходимость самостоятельно реализовать меры безопасности. Использование регулируется лицензией CC-BY-NC-SA-4.0 в сочетании с лицензией Llama 3 и соответствующими правилами допустимого использования; коммерческие и иные сценарии должны проверяться на соответствие этим условиям.

DarqueDante/LLama-3-Mega-Dolphin-2.9.1-120b — разговорная языковая модель на архитектуре Llama 3, созданная слиянием через mergekit из двух копий Dolphin 2.9.1 Llama 3 70B. Модель содержит 120,8 млрд параметров и рассчитана на генерацию текста и диалог с шаблоном ChatML; она принимает текстовые запросы и выдаёт текстовые ответы. Модель предназначена для универсального ассистирования в чате. Данные обучения связаны с диалогами, программированием, математическими задачами и вызовом функций; это указывает на соответствующие сценарии применения, но карточка не приводит отдельной оценки качества по ним. Заявленная длина контекста — 8192 токена, основной язык карточки — английский. В репозитории указаны веса safetensors и библиотека Transformers. Лицензия в предоставленных сведениях не указана, поэтому условия использования определить нельзя.

llm-jp-4-kappa-32b-a3b-v0.1 — японско-английская диалоговая языковая модель Third-intelligence, созданная как исследовательский прототип на основе llm-jp/llm-jp-4-32b-a3b-thinking. Модель дообучили в два этапа: SFT для генерации рассуждений и обучение с подкреплением на математических и программных задачах. Она использует архитектуру Mixture-of-Experts: около 32 млрд параметров всего и примерно 3 млрд активных при генерации. Контекст — до 65 536 токенов. Модель предназначена для диалоговой генерации текста на японском и английском языках, включая задачи рассуждения, математики и программирования. В README приведены результаты сравнительных тестов на японских и английских заданиях; они показывают сильные результаты в ряде категорий, но не гарантируют точность для конкретного запроса. Для запуска указаны Transformers и vLLM с reasoning parser для формата LLM-jp-4; для рекомендуемой конфигурации требуются несколько GPU с 80 ГБ памяти, хотя возможен запуск на одной такой карте с уменьшением длины контекста. Опубликована по лицензии Apache 2.0; README также требует соблюдать лицензию и условия базовой модели. Разработчик позиционирует её как исследовательскую: точность, безопасность и этичность ответов не гарантируются, возможны галлюцинации и неподходящий контент, а коммерческое и критически важное применение не предполагается.

LongCat-Flash-Lite-Sparse-Uncensored-Heretic-Native-MTP-And-LSA-Preserved — дообученная версия LongCat-Flash-Lite-Sparse от независимого автора llmfan46. Это разговорная причинная языковая модель для генерации текста с архитектурой LongCat Flash Sparse и 4,6 млрд параметров. По метаданным, модель принимает контекст до 983 040 токенов; исходное семейство использует разреженное внимание LongCat Sparse Attention для эффективной работы с длинным контекстом. Модель изменена методом abliteration, чтобы снизить частоту отказов: в приведённом README сравнительном тесте отказов стало 9 из 100 против 99 из 100 у исходной модели. Она предназначена для диалогов, генерации текста и сценариев с длинными входными данными; README также ссылается на отдельную GGUF-версию. Заявленная лицензия — MIT. README предупреждает, что модель не оценивалась всесторонне для всех прикладных задач.

LRM-3.2 — модель рассуждений, разработанная Orion Research и дообученная на базе Qwen3.6-27B. Она предназначена для диалогов, решения задач и многошаговой работы, включая агентные сценарии. Модель сокращает рассуждения во внутреннем ходе мыслей: их длина адаптируется к сложности задачи, а ответы пользователю сохраняют обычную полноту и естественность. Заявленная цель — снизить задержку и расход токенов без ухудшения качества итоговых ответов. Архитектура — плотная Qwen3.5, базовая модель содержит 27 млрд параметров. Дообучение выполнено на наборах ProCreations/grug-think и ProCreations/grug-think-v3-10k с акцентом на траектории рассуждений; README указывает, что токенизатор и длина контекста базовой модели не менялись, но числовое значение контекста не приводит. Модель распространяется в формате safetensors по лицензии Apache-2.0. Описание и примеры сосредоточены на английском языке; поддержка других языков отдельно не заявлена.

MasherAI-7B-v5 — языковая модель для генерации текста и диалогов, собранная разработчиком mahiatlinux с помощью LazyMergekit. Это слияние методом slerp моделей mahiatlinux/MasherAI-7B-v4 и teknium/OpenHermes-2.5-Mistral-7B; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и предназначена для чат-сценариев и генерации текста. Модель может быть полезна для ведения диалогов, ответов на вопросы и помощи с кодом — эти возможности связаны с базовой моделью OpenHermes-2.5-Mistral-7B. В карточке MasherAI-7B-v5 отдельные языки, специальные области применения и подробные ограничения не описаны. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных источниках отсутствуют.

OLMo-2-1124-7B-Instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели OLMo-2-1124-7B-Instruct, разработанной Allen Institute и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций, ответы на вопросы и решение задач в локальных приложениях на базе llama.cpp. Модель содержит около 7 миллиардов параметров, работает в текстовой модальности и ориентирована на английский язык. В репозитории доступны варианты от F16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3 и Q2, поэтому можно выбирать между качеством, скоростью и требованиями к памяти. Для квантования использовалась imatrix-методика, а также исправленный tokenizer.json базовой модели. Точный размер контекстного окна в README не указан. Сильная сторона сборки — возможность запуска модели локально с различным объёмом памяти и совместимость с llama.cpp; варианты Q6 и Q5 заявлены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию для большинства сценариев. Более сильное квантование уменьшает требования к ресурсам, но может снижать качество ответов; низкобитные варианты имеют заметные ограничения. Отдельные сборки оптимизированы для ARM и требуют соответствующих аппаратных возможностей. Модель распространяется по лицензии Apache-2.0.

Phi-4-reasoning — языковая модель Microsoft Research с открытыми весами, представленная в репозитории Unsloth. Это дообученная версия Phi-4: плотный декодерный Transformer с 14,1 млрд параметров, рассчитанный на генерацию текста и диалоговое взаимодействие. Модель дообучали на примерах рассуждений с помощью supervised fine-tuning и обучения с подкреплением. Модель предназначена для задач, где важны пошаговые рассуждения и компактное исполнение: решения математических задач, ответы на вопросы по естественным наукам, программирование и логические задачи. Основной язык применения — английский. Контекст составляет до 32 768 токенов; карточка описывает текстовую модель. Разработчик указывает, что модель ориентирована прежде всего на математические рассуждения и не проходила специальную оценку для всех возможных прикладных сценариев. Точность, безопасность и справедливость ответов следует проверять для конкретного применения, особенно в высокорисковых областях. Репозиторий распространяется по лицензии MIT.

ibrahimkettaneh/Qwen2.5-14B-Instruct-abliterated-v2-AWQ — это квантованная в формате AWQ версия производной модели Qwen2.5-14B-Instruct-abliterated-v2. Репозиторий опубликован пользователем ibrahimkettaneh; исходная базовая модель разработана командой Qwen компании Alibaba. Производная модель создана методом abliteration, направленным на ослабление отказов отвечать на запросы, а её назначение — локальная генерация текста и диалоговое использование. Модель основана на Qwen2.5-14B-Instruct: это causal language model примерно с 14,7 млрд параметров, архитектурой Qwen2 с RoPE, SwiGLU, RMSNorm и grouped-query attention. Базовая модель поддерживает текстовые задачи, следование инструкциям, программирование, математику, структурированные данные и JSON; заявлена поддержка более 29 языков, включая русский, английский и китайский. Полное контекстное окно базовой модели составляет до 131 072 токенов, а генерация — до 8192 токенов, однако параметры контекста именно этой AWQ-сборки отдельно не документированы. Ключевое преимущество — существенно меньшие требования к памяти благодаря 4-битной AWQ-квантизации; размер опубликованных весов составляет около 10 ГБ. Ограничения включают отсутствие собственной карточки модели и подробных официальных сведений о качестве, области abliteration и фактическом поведении; ослабление защит может повысить риск небезопасных или нежелательных ответов. Для базовой Qwen2.5-14B-Instruct указана лицензия Apache 2.0, но отдельная лицензия данного производного репозитория в доступной карточке не указана.

Qwen2-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Qwen2-7B-Instruct, подготовленный bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях, чат-интерфейсах и других системах, поддерживающих формат GGUF и llama.cpp. В набор входят варианты с разной точностью и размером — от Q8_0 (8,09 ГБ) до IQ2_XS (2,46 ГБ). Более крупные квантизации обеспечивают более высокое качество, а компактные позволяют запускать модель при ограниченных ресурсах, но могут заметно снижать качество ответов. Исходная модель имеет около 7 миллиардов параметров; в README указана поддержка английского языка, текстовая модальность и формат text-generation. Размер контекста и точная архитектура в карточке не указаны. Сильной стороной является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, скоростью и требованиями к RAM или VRAM; рекомендуемыми названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Ограничения включают снижение качества у низкобитных вариантов и проблему с CUDA offloading без включённого flash attention. Для работы следует использовать указанный chat-шаблон с токенами im_start и im_end. Модель распространяется по лицензии Apache-2.0.

RobinsonLabs/Qwen3.5-122B-A10B-abliterated-GGUF — набор квантизированных моделей в формате GGUF на базе Qwen/Qwen3.5-122B-A10B. Модель разработана Robinson Labs методом abliteration и предназначена для генерации и обработки текста в совместимых локальных runtime. Базовая архитектура — MoE qwen35moe с 122 млрд параметров и бюджетом около 10 млрд активных параметров на токен. В сборке сохранён Multi-Token Prediction (MTP/NextN), поэтому совместимые runtime могут использовать спекулятивное декодирование. Доступны варианты с разными уровнями квантизации и размером файлов. Это текстовая модель: vision tower из исходного чекпойнта в GGUF не включена, поэтому обработка изображений не поддерживается. Языки и размер контекстного окна в README не указаны. Ключевая особенность версии — снижение склонности к отказам в запросах для взрослого и творческого контента при заявленном сохранении возможностей модели. При этом защитные механизмы для запросов, связанных с самоповреждением, и другие ограничения безопасности, по данным автора, сохранены. Ограничениями являются высокая требовательность к вычислительным ресурсам из-за полного размера модели, отсутствие мультимодальности и зависимость от поддержки GGUF и MTP конкретным runtime. Модель помечена как не предназначенная для всех аудиторий, а ответственность за использование возложена на пользователя. Лицензия наследуется от базовой модели и указана как Apache-2.0.

tinyopsec/Qwen3.5-4B-Unredacted-MAX-GGUF — набор GGUF-квантизованных версий языковой модели prithivMLmods/Qwen3.5-4B-Unredacted-MAX, созданной на базе Qwen/Qwen3.5-4B. Модель предназначена для генерации текста, выполнения инструкций, решения задач, многошагового рассуждения, исследовательских экспериментов и локального запуска на совместимом оборудовании. Указанный разработчик базовой дообученной модели — prithivMLmods, а данный репозиторий содержит общественные квантизации. Модель имеет около 4,5 млрд параметров, архитектуру Qwen2 с 28 слоями и 28 головами внимания, контекст до 32 768 токенов и словарь размером 151 936 токенов. В README указан английский язык. Доступны варианты с точностью от 16 до 2 бит и размером примерно от 8,4 до 1,1 ГБ, что позволяет выбирать между качеством, требованиями к видеопамяти и компактностью. Поддерживаются сценарии локального инференса через llama.cpp, llama-cpp-python, LM Studio и Ollama. Сильными сторонами являются сравнительно небольшой размер, гибкий выбор уровня квантизации, совместимость с форматом GGUF и пригодность для запуска на видеокартах среднего класса, ноутбуках и CPU. Ограничения включают компромисс между качеством и степенью сжатия, а также отсутствие в README подробных результатов бенчмарков, данных о мультимодальности и поддерживаемых языках помимо указанного английского. Лицензия — Apache 2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая модель на базе Qwen3.6-27B, представленная DavidAU. Она создана в результате многоэтапного дообучения, нескольких слияний моделей и применения методов Unsloth; в разработке также участвовали Nightmedia, TeichAI, armand0e и trohrbaugh. Для обучения и настройки упоминаются наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель предназначена для широкого круга сценариев: следования инструкциям, решения задач, рассуждений, программирования, диалогов, ролевых взаимодействий и работы с художественными текстами. В README заявлена поддержка vision, а в метаданных указаны английский и китайский языки. Доступны обычные GGUF-квантизации и варианты MTP для многотокенного предсказания; все квантизации обозначены как NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности. Размер базовой модели — 27 млрд параметров. Заявленные сильные стороны — улучшенное следование инструкциям, общее решение задач и рассуждение, а также сохранение качества на низких уровнях квантизации. Автор сообщает о превосходстве базовой Qwen3.6-27B по большинству из семи внутренних бенчмарков, однако эти результаты приведены в README и требуют независимой проверки. Для MTP-вариантов рекомендуется температура не выше 1 и отключённая репетиция; при низком уровне принятия токенов следует использовать обычную квантизацию. Модель описана как uncensored, поэтому её ответы могут иметь меньше встроенных ограничений безопасности. Лицензия — Apache-2.0.

Youssofal/Qwen3.8-27B-MTPLX-Bare-Speed — это 4-битная quantized-версия Qwen/Qwen3.8-27B, подготовленная разработчиками MTPLX для быстрого локального запуска на компьютерах Mac с Apple Silicon. Модель предназначена для диалогов, генерации текста и кода, а также сценариев локального использования через MTPLX Mac app или командный интерфейс. Сохранённая встроенная голова multi-token prediction позволяет применять speculative decoding и ускорять генерацию примерно в два-три раза по сравнению с обычным декодированием. Модель использует MLX-пакет с 4-битными матрицами весов и группами по 64 значения; свёрточные ядра GDN, параметры рекуррентного состояния, нормализации и MTP-head хранятся в 16-битном формате. Глубина MTP составляет 3, контекстное окно — 262 144 токена, размер загрузки — 16 ГБ, пиковое потребление unified memory — около 17 ГБ. Указанные настройки sampling: temperature 1.0, top-p 0.95 и top-k 20; поддерживаются уровни reasoning effort xhigh, medium и low. Модель рассчитана на MacBook Pro, MacBook Air, Mac mini и Mac Studio с чипами M1–M5 и минимум 32 ГБ unified memory. Главное преимущество — высокая скорость генерации, особенно в коротких чат-сценариях: на MacBook Pro с M5 Max заявлено до 65,2 токена в секунду для coding-задачи и 32,4 токена в секунду при длинной генерации. Компромисс — более грубая 4-битная quantization: авторы README прямо указывают на более низкое качество и меньшую скорость на длинных задачах программирования по сравнению с вариантом Optimized Speed. Для M1 и M2 рекомендуется отдельная FP16-сборка. Модель распространяется по лицензии Apache-2.0.

sakamakismile/Qwen3.8-27B-MTP-NVFP4 — квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Это плотная гибридная модель с архитектурой DeltaNet и полноразмерным attention, компонентами компьютерного зрения Qwen3-VL и встроенной MTP-головой для speculative decoding. Модель предназначена прежде всего для генерации текста, рассуждений и использования в серверных сценариях через vLLM; поддержка мультимодального режима заявлена благодаря vision tower, но в README её производительность не оценивалась. Основная часть весов сжата в формат NVFP4 W4A4 с размером группы 16, тогда как vision tower, lm_head, conv1d DeltaNet и MTP-голова сохранены в bf16. Размер базовой модели составляет 27,8 млрд параметров; объём уменьшен с 55,6 до 20,6 ГБ. Заявлен контекст до 131 072 токенов, поддерживается KV-кэш fp8 и работа на GPU Blackwell через vLLM 0.22.0. MTP-голова позволяет ускорять декодирование, однако требует корректного сохранения специальных модулей и конфигурации speculative decoding. Сильными сторонами модели являются существенное сокращение объёма весов, высокая скорость генерации на совместимом оборудовании и поддержка длинного контекста. Ограничения связаны с требованиями к GPU Blackwell и конфигурации vLLM: формат W4A4 необходим для указанной архитектуры, а мультимодальная производительность не проверялась. Модель ориентирована на задачи рассуждений; при высоком уровне reasoning effort значительная часть лимита токенов может расходоваться на внутреннее рассуждение без итогового ответа, поэтому для длинных запросов рекомендуется режим medium и max_tokens не менее 4096. Распространяется по лицензии Apache-2.0.

Sakana AI разработала RLT-32B — авторегрессионную языковую модель с 32 млрд параметров на архитектуре Qwen2. Она создана как ученическая модель по конвейеру Reinforcement-Learned Teachers: модель дистиллирована из 7B Reinforcement-Learned Teacher и обучена с учителем на его рассуждениях, с использованием гиперпараметров, системного промпта и тегов рассуждений из работы Li et al. 2025. Модель предназначена для генерации текста и диалогов с акцентом на рассуждения, включая задачи математики, науки и программирования. Она принимает текст и генерирует текст; контекст — до 32 768 токенов. В метаданных указаны английский и китайский языки, а также интерфейс для вызова инструментов. Карточка называет модель экспериментальным прототипом для исследований и разработок; качество не гарантируется, модель не предназначена для критически важных сценариев. Лицензия — Apache 2.0; авторы отдельно не рекомендуют коммерческое применение.

SDLM-32B-D4 — языковая модель OpenGVLab для генерации текста в формате последовательной диффузии. Она основана на Qwen2.5-32B и дообучена для переноса авторегрессионных весов в диффузионный режим. Модель предсказывает блоки токенов длиной 4, затем сохраняет наиболее длинный уверенно предсказанный префикс; повторное использование KV-кэша призвано ускорить декодирование. В метаданных указаны 32 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалоговой генерации и задач с длинным текстом. Авторы сообщают примерно о двукратном ускорении относительно сопоставимых авторегрессионных моделей при близком качестве и до пятикратного ускорения относительно других диффузионных языковых моделей; в README эти результаты связаны, в частности, с тестом MATH-500. В обучении использовались данные по математике, коду и общим диалогам, а также научные и табличные наборы. Указаны интерфейсы чата и вызова инструментов, но отдельные гарантии качества для этих сценариев в карточке не приведены. Модель распространяется под лицензией Apache-2.0.

XVERSE-65B — мультиязычная базовая большая языковая модель, самостоятельно разработанная компанией Shenzhen Yuanxiang Technology. Она построена на плотной архитектуре Decoder-only Transformer и предназначена для генерации текста, включая продолжение запросов и подготовку материалов для многошагового диалога, ответов на вопросы и суммаризации. В модели 65,6 млрд параметров, контекст — до 16 384 токенов; она использует BPE-токенизатор с словарём из 100 534 токенов и распространяется в формате PyTorch. Модель обучена на 2,6 трлн токенов из веб-страниц, кода, энциклопедий, книг, научных публикаций и других источников. README указывает поддержку 41 естественного языка, включая китайский, английский, русский и испанский; наибольшие доли обучающих данных приходятся на английский и китайский. Лицензия Apache-2.0. Это базовая, а не специально настроенная для диалога модель, поэтому качество следования инструкциям и ответы в формате ассистента не гарантируются; возможны ошибки и смещения, характерные для генеративных языковых моделей.

YuLan-Mini-Instruct — компактная языковая модель, разработанная командой YuLan и предназначенная для диалогов и выполнения инструкций. Это дообученная версия YuLan-Mini: авторы применили supervised fine-tuning, preference fine-tuning и обучение с подкреплением. Модель семейства Llama имеет плотную архитектуру и около 2,2 млрд параметров по метаданным; в README указано 2,4 млрд. Контекст составляет около 28 тысяч токенов. Модель подходит для ответов на вопросы, следования инструкциям, рассуждений, решения математических задач и написания кода. В обучении использовались открытые и синтетические данные, в том числе материалы по математике, науке и китайским бытовым знаниям. Метаданные указывают поддержку английского и китайского языков и возможности чата и генерации кода. Авторы отмечают конкурентные результаты на задачах рассуждения, математики и программирования, но указывают на слабые результаты в тестах, требующих обширных знаний, например MMLU. Модель распространяется по лицензии MIT.

DeepSeek-R1-Qwen-lorablated-32B — плотная языковая модель на архитектуре Qwen2, созданная nbeerbower слиянием DeepSeek-R1-Distill-Qwen-32B и Qwen2.5-32B-abliterated-LORA методом task arithmetic с помощью mergekit. Модель содержит 32 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на вопросы, рассуждений и решения задач, в том числе по математике и программированию — такие возможности указаны для базовой модели. В метаданных также отмечен интерфейс вызова инструментов. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0. Карточка не приводит результатов оценки качества или подробных инструкций по применению, поэтому производительность конкретных сценариев не подтверждена.

Dolphin 2.6 Mistral 7B GGUF — это квантизированная версия языковой модели Dolphin 2.6 Mistral, разработанной Cognitive Computations и преобразованной в формат GGUF компанией Second State Inc. Модель основана на cognitivecomputations/dolphin-2.6-mistral-7b и предназначена для локального запуска в приложениях и сервисах, поддерживающих GGUF, включая LlamaEdge. Модель относится к текстовым языковым моделям, работает на английском языке и поддерживает контекст до 4096 токенов. Для взаимодействия используется шаблон ChatML. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 3,08 до 7,7 ГБ. Вариант Q4_K_M заявлен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем размере. К сильным сторонам относятся возможность локального развертывания, широкий выбор уровней квантования и адаптация для диалоговых и инструкционных сценариев. Ограничения включают англоязычную специализацию, контекст в 4096 токенов и неизбежную потерю качества при более агрессивном квантовании; вариант Q2_K прямо не рекомендуется для большинства задач. Модель распространяется по лицензии Apache-2.0.

EvaByte-Phase1 — базовая авторегрессионная языковая модель на 6,5 млрд параметров от команды авторов EvaByte. Она использует байтовое представление текста, улучшенную архитектуру с предсказанием нескольких байтов и эффективный механизм внимания EVA. Модель предварительно обучена на 1,2 трлн байтов данных; в обучающий корпус входили естественные языки, математика и код. Модель предназначена для генерации продолжений текста, ответов в диалоге и задач с кодом. Она поддерживает контекст до 32 768 токенов и может генерировать по одному байту или использовать режим многобайтовой генерации. По данным карточки, EvaByte показывает результаты, сопоставимые с открытыми токенизаторными языковыми моделями при меньшем объёме обучающих данных и обеспечивает более быстрое декодирование. Лицензия — Apache-2.0. Это чекпойнт первой фазы обучения: последующие версии EvaByte прошли дополнительные этапы дообучения и объединения, поэтому возможности финальной версии не следует автоматически приписывать Phase1.

gradientai-Llama-3-8B-Instruct-262k-GGUF — набор квантованных файлов модели gradientai/Llama-3-8B-Instruct-262k, подготовленный организацией Featherless AI Quants. Модель относится к классу text-generation и предназначена для генерации текста и выполнения инструкций в сценариях локального или совместимого с GGUF инференса. Известно, что это 8-миллиардная instruct-модель семейства Llama 3 с заявленным контекстом до 262 тысяч токенов. README не указывает поддерживаемые языки, точную архитектуру, мультимодальные возможности, результаты оценки или специальные сценарии применения. Доступны варианты квантования Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0; их размер составляет примерно от 3,0 до 8,1 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Сильными сторонами модели являются большой заявленный контекст и широкий выбор GGUF-квантований, подходящих для разных аппаратных конфигураций. Ограничения README не раскрывает: отсутствуют сведения о качестве, скорости, требованиях к оборудованию, языковом покрытии и поведении на конкретных задачах. Лицензия в предоставленных данных не указана.

InternLM2.5-20B-Chat — разговорная текстовая модель семейства InternLM, разработанная командой InternLM. Данный репозиторий содержит её квантизованные версии в формате GGUF, подготовленные Second State Inc. на основе модели internlm/internlm2_5-20b-chat и предназначенные для локального запуска средствами, совместимыми с GGUF, включая LlamaEdge. Модель предназначена для генерации текста и диалоговых сценариев; README также указывает поддержку использования инструментов через специальный шаблон prompt. Это текстовая модель без заявленной поддержки других модальностей. Она содержит 20 миллиардов параметров, использует шаблон ChatML и поддерживает контекст размером до 32 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также f16; их размер составляет примерно от 7,55 до 39,7 ГБ. Основное преимущество репозитория — выбор компромисса между размером файлов и качеством: Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более агрессивное квантование уменьшает требования к памяти, но может заметно ухудшить качество ответов. Для запуска с LlamaEdge требуется версия 0.13.0 или выше. Лицензия указана как other, без дополнительных условий в README.