II.3Рефакторинг, миграция и модернизация

MiniAI Quata1.5 (4B) — компактная языковая модель MiniAI на базе Qwen3-4B, дообученная для диалогов, следования инструкциям, рассуждений и генерации текста. Модель содержит около 3,7 млрд параметров, использует плотную архитектуру Qwen3 и принимает текст; метаданные указывают контекст до 40 960 токенов. Карточка также описывает вариант GGUF с квантизацией Q4_K_M размером около 2,5 ГБ и локальный запуск через Ollama. Модель рассчитана на локальное использование, в том числе на потребительском оборудовании, и может применяться для ответов на вопросы, работы с длинными документами и генерации кода. README приводит результаты тестов MMLU, ARC-Challenge, GSM8K и TruthfulQA, однако методика и условия этих сравнений не описаны. Указана лицензия Apache 2.0; метаданные связывают репозиторий с базовой моделью Qwen/Qwen3-4B.

Это копия Mistral-7B-Instruct-v0.1, опубликованная sanchit-gandhi. Модель представляет собой плотный трансформер Mistral с 7,1 млрд параметров, дообученный для следования инструкциям на общедоступных диалоговых наборах данных. Веса разбиты на шарды по 5 ГБ, чтобы облегчить загрузку в средах с ограниченной оперативной памятью; по остальным характеристикам модель идентична оригиналу. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Архитектура использует Grouped-Query Attention, Sliding-Window Attention и токенизатор BPE с поддержкой байтового отката; контекст составляет до 32 768 токенов. Для формата инструкций применяются маркеры [INST] и [/INST], также доступен шаблон чата Transformers. Лицензия — Apache-2.0. В карточке отмечено отсутствие встроенных механизмов модерации, поэтому сгенерированные ответы могут не соблюдать ограничения безопасности. Уменьшенный размер шардов упрощает загрузку модели, но не уменьшает её объём параметров или вычислительные требования при генерации.

Mistral-7B-Instruct-v0.3-GGUF — набор файлов модели в формате GGUF для Mistral-7B-Instruct-v0.3, разработанной компанией Mistral AI (mistralai) и подготовленной к квантованию MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. GGUF удобен для работы с различными уровнями квантования и локального вывода с использованием CPU или GPU. В основе лежит инструкционно настроенная языковая модель семейства Mistral с заявленным размером 7B параметров. Доступны варианты квантования от 2 до 8 бит, а также поддержка экосистемы Transformers и инструментов, совместимых с GGUF. README не содержит достоверных сведений о длине контекста, списке поддерживаемых языков, конкретной архитектуре или мультимодальности; по представленным данным модель является текстовой и не предназначена для обработки изображений или других модальностей. К сильным сторонам относятся возможность выбирать баланс между качеством и требованиями к памяти, а также широкий выбор локальных средств запуска: llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие совместимые инструменты. Ограничения зависят от выбранного уровня квантования, аппаратной конфигурации и используемого клиента; README не приводит результаты бенчмарков или детальную оценку качества. Указанная лицензия — Apache 2.0.

osanseviero/mistral-instruct-frankenmerge — объединённая диалоговая языковая модель, созданная из Mistral-7B-Instruct-v0.2 и Mistral-7B-Instruct-v0.1 с помощью mergekit и метода passthrough. Это плотная авторегрессионная модель семейства Mistral с 8,9 млрд параметров, рассчитанная на генерацию текста и выполнение инструкций; поддерживает контекст до 32 768 токенов и диалоговый режим. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по инструкциям. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не приводит сравнительных оценок качества или специальных ограничений применения.

Mistral-Small-24B-Instruct-2501-GGUF — это набор квантизованных версий инструкционной языковой модели Mistral-Small-24B-Instruct-2501, подготовленный пользователем bartowski в формате GGUF для llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio и другие совместимые проекты. Исходная модель имеет размер 24 млрд параметров; в README не указаны подробности её архитектуры и длина контекста. Доступны варианты с точностью от f32 и f16 до различных методов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 11 до 94 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Модель является текстовой и не поддерживает мультимодальный ввод по приведённым данным. Сильная сторона набора — широкий выбор квантизаций для локального запуска на оборудовании с разным объёмом памяти; варианты Q5 и выше позиционируются как высококачественные, а Q4 — как подходящие для большинства сценариев. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству. Для работы необходим совместимый рантайм, например llama.cpp или LM Studio, и ресурсы, соответствующие размеру выбранного файла. Лицензия — Apache 2.0.

Это квантованная версия Mistral Small 3.1 24B Instruct в формате GGUF. Исходную модель разработал mrfakename, а файлы GGUF подготовил MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных приложениях и интерфейсах, совместимых с GGUF, включая llama.cpp, llama-cpp-python, LM Studio и другие поддерживаемые клиенты. Ключевая характеристика репозитория — наличие вариантов квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством генерации. Точные сведения об архитектуре, размере контекста, поддерживаемых языках и модальностях в README не указаны, поэтому модель следует описывать как текстовую instruct-модель без дополнительных подтверждённых характеристик. Сильной стороной является возможность запуска в различных локальных средах с поддержкой CPU и GPU, включая серверные и OpenAI-совместимые интерфейсы некоторых клиентов. Ограничения зависят от выбранного уровня квантования и используемого программного обеспечения; более агрессивное квантование может влиять на качество. Лицензия в README не указана.

Jackrong/MLX-Qwen3.5-9B-DeepSeek-V4-Flash-4bit — языковая генеративная модель, разработанная Jackrong и преобразованная в формат MLX из базовой модели Jackrong/Qwen3.5-9B-DeepSeek-V4-Flash с использованием mlx-lm 0.30.7. Модель предназначена для генерации текста и может применяться в сценариях, требующих рассуждений, дистилляции, работы с длинными цепочками рассуждений, агентных задач и эффективного инференса на совместимом оборудовании Apple MLX. Модель имеет размер 9B параметров, использует 4-битное квантование и поддерживает библиотеку MLX. Заявлена поддержка английского, китайского, корейского, японского, испанского и русского языков. Доступная модальность — текст; модель относится к классу text generation. Максимальная длина контекста и точные архитектурные характеристики в README не указаны. Для запуска требуется mlx-lm, предусмотрена работа через chat template. Модель удобна для локального и эффективного вывода в экосистеме MLX, а 4-битное представление снижает требования к памяти. Ограничения включают отсутствие данных о результатах оценки, качестве на отдельных языках, производительности и максимальном контексте. Модель распространяется по лицензии Apache-2.0; в качестве датасета указано Jackrong/DeepSeek-V4-Distill-8000x.

MaziyarPanahi/Qwen2.5-7B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантованные версии опубликованы пользователем MaziyarPanahi и предназначены для локального запуска задач генерации текста, включая диалоговое взаимодействие и другие сценарии применения instruction-tuned модели. Модель содержит варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF поддерживается llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и ctransformers. В README не указаны архитектурные детали, объём контекста, поддерживаемые языки, модальности, результаты оценивания или конкретные ограничения качества. Лицензия в предоставленных данных не указана. Для использования необходимо учитывать условия лицензии исходной модели Qwen2.5-7B-Instruct и правила распространения опубликованных квантованных файлов.

Theros/Qwen2.5-ColdBrew-R1-test2 — объединённая автором модель на основе языковых моделей Qwen2.5. Она создана методом Model Stock с помощью mergekit; в объединение вошли Theros/Qwen2.5-ColdBrew-R1-test, Theros/Qwen2.5-CyberMix-7B и bunnycore/Qwen-2.5-7B-Deep-Stock-v4. Модель предназначена для диалогов и генерации текста, а также поддерживает интерфейс общения с инструментами. Архитектура — плотная Qwen2ForCausalLM, размер — 7,1 млрд параметров, максимальный контекст — 131 072 токена. Репозиторий содержит веса в формате safetensors и рассчитан на Transformers. Лицензия в предоставленных данных не указана.

MaziyarPanahi/Qwen2-7B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2-7B-Instruct, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, где требуется инструкционно настроенная языковая модель. Модель основана на Qwen2-7B-Instruct и содержит около 7 миллиардов параметров. Доступны варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF поддерживается llama.cpp и рядом совместимых приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui и другие инструменты для локального запуска с возможным ускорением на GPU. Сильными сторонами являются широкий выбор уровней квантизации и совместимость с экосистемой GGUF для локального вывода. Ограничения включают потенциальную потерю качества в более агрессивно квантованных вариантах, а также отсутствие в README сведений о языках, размере контекста, точной архитектуре, исходных данных и результатах тестирования. Лицензия в предоставленных материалах не указана.

DavidAU/Qwen3-32B-128k-NEO-Imatrix-Max-GGUF — квантованные GGUF-варианты модели Qwen3-32B, разработанные DavidAU. Модель предназначена для генерации текста, диалогов, задач с рассуждениями и творческих сценариев, включая хоррор и другие художественные применения. Указано, что модель может использоваться также для общего назначения. Модель имеет заявленный контекст до 128k токенов и поддерживает режим reasoning с автоматической генерацией блоков размышлений. Варианты используют NEO Imatrix-квантизацию, при этом выходной тензор оставлен в формате BF16 для улучшения рассуждений и генерации. Размер базовой модели — 32B параметров; конкретная архитектура, список поддерживаемых языков и точные характеристики отдельных квантов в карточке не указаны. Для качества рекомендуется контекст не менее 8k, предпочтительно 16k; IQ4XS и IQ4NL описаны как наиболее сбалансированные варианты, а более высокие кванты — как предпочтительные для усиленного reasoning. К ограничениям относятся зависимость качества от выбранного уровня квантизации, необходимость корректной настройки Jinja или CHATML-шаблона и возможная потребность в подборе параметров генерации. Для Q8_0 эффект Imatrix, согласно описанию, отсутствует. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-GPTQ-Int4 — квантизированная версия модели Qwen/Qwen3-4B-Instruct-2507, опубликованная под идентификатором superjob/Qwen3-4B-Instruct-2507-GPTQ-Int4. Она предназначена для генерации текста и работы в диалоговых и прикладных сценариях, где важны компактность модели и снижение требований к памяти. Заявлена поддержка 104 языков, включая русский и другие языки стран СНГ. Модель использует 4-битную GPTQ-квантизацию весов и 16-битные активации (W4A16), размер группы — 128, порядок активаций статический. Формат compressed-tensors обеспечивает нативную поддержку в vLLM и оптимизирован для запуска с этим движком. README не содержит данных о точном размере контекстного окна, числе параметров исходной архитектуры, поддерживаемых модальностях помимо текста или результатах тестирования, поэтому оценить качество и ограничения по бенчмаркам невозможно. Модель распространяется по лицензии Apache 2.0, как и исходная модель.

OnlyTextLLMs/Qwen3.5-2B-OnlyText — текстовая причинно-следственная языковая модель на базе Qwen/Qwen3.5-2B. Разработчик репозитория удалил из исходной модели компоненты обработки изображений и аудио и мультимодальные специальные токены, сохранив текстовую основу, языковую голову и черновую MTP-голову; дополнительного обучения не проводилось. Модель имеет плотную архитектуру Qwen3_5ForCausalLM, около 1,7 млрд параметров по метаданным и контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогов. Она принимает текст и выдаёт текст; заявленный интерфейс также поддерживает вызов инструментов. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0. Удалённые аудио- и визуальные компоненты исключают обработку изображений и аудио; сведения о языках в предоставленных данных не приведены.

Qwen3.6-27B-Q8_0-dequant-bf16-vllm — конвертированная версия весов Qwen3.6-27B, подготовленная exolabs для запуска через vLLM. Веса взяты из GGUF-квантизации Q8_0 репозитория unsloth/Qwen3.6-27B-GGUF, деквантизированы, преобразованы в формат Transformers и сохранены в BF16 как safetensors. Это плотная модель семейства Qwen3.5 с поддержкой чата и интерфейса вызова инструментов. Исходная архитектура предусматривает обработку текста и изображений, однако в этом репозитории отсутствует визуальная башня. README рекомендует запускать модель в режиме только языковой части, поэтому для данного набора весов следует рассчитывать на текстовый ввод и генерацию текста. Конфигурация проверена на H200 с vLLM 0.23.0; автор указывает максимальную длину контекста 4096 токенов в рекомендуемой команде запуска. Это преобразование уже квантизированных весов Q8_0 в BF16, а не исходный чекпойнт BF16: точность деквантизации ограничена исходной квантизацией. Лицензия в предоставленных данных не указана.

SassyDiffusion/Qwen3.6-35B-A3B-heretic-GGUF — это набор GGUF-квантизаций языковой модели Qwen3.6-35B-A3B, подготовленный для локального запуска. Исходную модель разработала команда Qwen, а данная версия создана на базе llmfan46/Qwen3.6-35B-A3B-uncensored-heretic с использованием Heretic 1.2.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA). Модель предназначена для генерации и обработки текста, включая сценарии, где требуется меньше отказов и ограничений по сравнению с оригинальной версией Qwen3.6-35B-A3B. Модель имеет конфигурацию 35B-A3B; точные сведения об архитектуре, размере активируемой части, длине контекста и поддерживаемых языках в README не указаны. Репозиторий содержит варианты EMB_BF16, в которых таблица token_embd.weight сохраняется без квантизации в формате BF16. Эти embeddings хранятся в системной RAM и не занимают VRAM, что может повысить точность при наличии достаточного объёма оперативной памяти, хотя увеличивает требования к RAM. По заявленным результатам версия демонстрирует 10 отказов из 100 против 83 из 100 у оригинальной модели при KL-дивергенции 0,0015, то есть сохраняет близкое поведение исходной модели при значительно меньшем числе отказов. Ограничением является отсутствие подробных данных о качестве на широком наборе задач, языках и контекстном окне, а также повышенные требования к оперативной памяти для EMB_BF16-квантизаций. В метаданных указана лицензия Apache-2.0.

Qwen3.8-27B-GGUF — набор квантизированных GGUF-версий базовой модели Qwen/Qwen3.8-27B, подготовленный пользователем vcruz305 для запуска через llama.cpp. Модель предназначена для локальной генерации текста и диалоговых сценариев, включая задачи с рассуждениями; для мультимодальных сценариев требуется отдельный файл mmproj. Поддерживаются английский и китайский языки. Указанный pipeline — text-generation. В основе используется 64-слойный языковой trunk архитектуры qwen35 с гибридом Gated DeltaNet; размер базовой модели — 27B параметров. Доступны квантизации от 2 до 8 бит размером примерно от 9,98 до 26,63 GiB. Версии Q2_K и Q3_K_M используют imatrix-квантизацию, остальные являются обычными K-quants. В файлах намеренно отсутствует MTP-голова для speculative decoding, что уменьшает требования к памяти, но исключает соответствующий режим ускорения. В README также заявлена поддержка контекста до 262 144 токенов при соответствующей конфигурации и аппаратных ресурсах. Сильные стороны набора — возможность запуска 27B-модели на видеокартах с 12, 16, 24 и 32+ GiB памяти, несколько вариантов компромисса между качеством и размером, а также исправленный chat template для корректной работы многошаговых агентов. Ограничения включают зависимость от достаточно новой версии llama.cpp с поддержкой qwen35, отсутствие встроенной vision-компоненты и MTP-головы, а также высокие требования к памяти для старших квантизаций и длинного контекста. Распространение заявлено по лицензии Apache-2.0, унаследованной от официальной модели Qwen.

Qwen3.8-27B-GGUF-4.2BPW-16GB — это квантованная версия плотной языковой модели Qwen3.8-27B, разработанной командой Qwen. Сборка опубликована пользователем hitsfmdj и создана с использованием Omenator AI. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama или LM Studio, особенно на видеокартах с 16 ГБ VRAM. Модель поставляется в формате GGUF с importance-weighted смешанной точностью и эффективной точностью 4,189 бит на вес. Все 27 млрд параметров сохранены: параметры не удалялись и не подвергались дистилляции, а точность перераспределялась между тензорами с учётом их важности. Размер файла составляет 11,88 ГБ, заявленный базовой моделью контекст — 262 144 токена. Сборка рассчитана на полное размещение в памяти одной 16-гигабайтной GPU без выгрузки слоёв на CPU. Ключевое преимущество — возможность запускать 27B-модель на видеокартах класса 16 ГБ с сохранением VRAM для KV-кэша; на эталонной системе заявлена скорость декодирования 12,77 токена в секунду. Оценка потери качества составляет около 2,6% относительно почти без потерь, но основана только на perplexity и KL-divergence при отборе квантования и не подтверждена полноценным набором downstream-бенчмарков. Реальная скорость и доступный контекст зависят от оборудования, backend и настроек KV-кэша. Базовая модель и квантованная сборка распространяются по лицензии Apache-2.0; для базовой модели действуют соответствующие условия лицензии. Языки и специализированные возможности исходной Qwen3.8-27B в README не указаны.

Qwen 3.8 27B ROCmFP4 FAST — это квантизированная GGUF-версия модели Qwen 3.8 27B, разработанной командой Qwen и адаптированной пользователем julianmb. Модель предназначена для генерации текста и оптимизирована прежде всего для AMD Strix Halo с графикой Radeon 8060S, а также дискретных AMD Radeon GPU, использующих ROCm или Vulkan. Модель имеет плотную архитектуру с 27 млрд параметров и представлена в формате ROCmFP4 с эффективной точностью 4,26 бит на вес и размером файла около 13,55 GiB. Заявлены поддерживаемые языки английский и китайский. Версия ориентирована на ускоренное авторегрессионное декодирование и может использовать speculative decoding с MTP; на Ryzen AI Max+ 395 указана скорость до 36,04 токена в секунду, при устойчивом MTP-декодировании K=4 — 33,80 токена в секунду. Без спекулятивного декодирования измеренная скорость составляет 14,02 токена в секунду. Сильные стороны модели — сниженное потребление памяти, оптимизация под оборудование AMD и высокая скорость генерации при сохранении заявленного качества, близкого к исходной модели. Дополнительно описана экспериментальная гибридная NPU-акселерация AMD XDNA 2 для уменьшения задержки выдачи первого токена на длинных запросах, но она не повышает устойчивую скорость декодирования. Реальная производительность зависит от GPU, драйверов, конфигурации MTP и программного окружения, поэтому приведённые показатели нельзя считать универсальными. Модель распространяется по лицензии Apache 2.0.

MiawTeam/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, разработанный MiawTeam на базе Qwen/Qwen3.8-27B и предназначенный для запуска через llama.cpp. Модель ориентирована на генерацию текста, включая диалоги, работу с английским и китайским языками, а при наличии vision tower в базовой модели — обработку изображений. Доступны варианты IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также конфигурации со встроенной или отдельной MTP-головой для speculative decoding. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, контекстом до 262 144 токенов и одной MTP-головой. Веса были обработаны методом abliteration с помощью Heretic для существенного снижения отказов без дополнительного обучения и без использования новых данных; при этом базовые возможности, обучающие данные и архитектура заявлены как сохранённые. MTP-тензоры проверены после конвертации и квантизации, а imatrix рассчитана непосредственно из F16-весов. Сильные стороны — большой контекст, поддержка текстовой и потенциально визуальной модальности, несколько уровней квантизации и возможность ускорения генерации за счёт speculative decoding. Ограничения включают зависимость производительности от оборудования и настроек draft decoding, потенциальное небольшое снижение acceptance rate для черновой головы, а также то, что снижение отказов не является полным. В сравнении с базовой моделью среднее изменение результатов на указанных 0-shot тестах составило около −0,5 и находится в пределах или около стандартной ошибки измерений. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-oQ8e-mtp — это квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, подготовленная пользователем pyros-vault для запуска на Apple Silicon и macOS. Артефакт создан в формате MLX с помощью oMLX 0.6.1 и предназначен для развёртывания через runtime oMLX с OpenAI-совместимым API. Модель относится к типу qwen3_5, имеет заявленный максимальный контекст 262 144 токена, поддерживает мультимодальные сценарии благодаря сохранённым ресурсам Vision и включает один слой MTP. Используется смешанная квантизация oQ8e: аффинная Q8/G64 применяется по всей модели без переопределений точности для отдельных тензоров. Размер тензорных данных составляет около 27,94 GiB, модель размещена в шести Safetensors-фрагментах. В README не указаны точные языки, результаты бенчмарков или проверенная производительность. Модель подходит для диалоговых и мультимодальных задач, однако фактические возможности Vision, качество генерации, потребление памяти, скорость и эффективность MTP зависят от версии oMLX, клиента, промпта и аппаратного обеспечения. Полный контекст заявлен только конфигурацией и не подтверждён тестированием; квантизация может влиять на качество. Репозиторий не предназначен для CUDA на Windows, а hosted inference Hugging Face его формат не обслуживает. Прямая исходная модель распространяется по лицензии Apache-2.0; для полного соблюдения условий необходимо учитывать также правила и атрибуцию upstream-модели. Квантизацию и упаковку выполнил pyros-vault.

Qwen3-Next-80B-A3B-Thinking-8bit — языковая модель для генерации текста, представленная сообществом mlx-community. Она преобразована из базовой модели Qwen/Qwen3-Next-80B-A3B-Thinking в формат MLX с использованием mlx-lm 0.27.1; исходная модель разработана командой Qwen. Модель предназначена для текстовых сценариев, включая диалоговое взаимодействие и генерацию ответов с применением режима Thinking. В названии указаны масштаб 80B, конфигурация A3B и 8-битное представление весов. Модель поддерживает работу через библиотеку mlx-lm и рассчитана на запуск в экосистеме MLX. В README не указаны языки, размер контекста, точная архитектура, перечень модальностей и результаты бенчмарков. Сильной стороной модели является адаптация для MLX и 8-битное представление, потенциально снижающее требования к памяти по сравнению с полноточными вариантами. Ограничения и фактические требования к оборудованию в README не описаны. Модель распространяется по лицензии Apache-2.0.

mlx-community/QwQ-32B-bf16 — конверсия модели QwQ-32B в формат MLX, подготовленная сообществом mlx-community на основе Qwen/QwQ-32B с помощью mlx-lm 0.21.5. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров для генерации текста и диалогов; метаданные указывают контекст до 131 072 токенов и интерфейс вызова инструментов. Модель предназначена для диалоговых и текстовых задач, в том числе для запросов, требующих последовательного рассуждения. Карточка указывает на формат safetensors, лицензию Apache-2.0 и использование через MLX. Поддержка английского отмечена в метаданных; другие языки и отдельные гарантии качества в карточке не описаны.

QuantFactory/Skywork-o1-Open-Llama-3.1-8B-GGUF — квантизированная версия модели Skywork o1 Open-Llama-3.1-8B, созданная с использованием llama.cpp. Исходную модель разработала команда Skywork компании Kunlun Inc.; она основана на Meta-Llama-3.1-8B-Instruct и дообучена на данных в стиле «медленного мышления». Версия в этом репозитории предназначена для запуска в формате GGUF с использованием совместимых инструментов llama.cpp. Модель ориентирована на диалоги, генерацию текста и решение задач, требующих рассуждений: математики, программирования, логики, здравого смысла, этических решений и распознавания логических ловушек. Заявленные особенности включают планирование, пошаговое рассуждение, саморефлексию и самопроверку. В разработке применялись многоагентная генерация данных, непрерывное предварительное обучение, supervised fine-tuning, обучение с подкреплением с использованием process reward model и алгоритмы поиска рассуждений. Известный размер исходной модели — 8B параметров; архитектура и набор поддерживаемых языков в предоставленных данных отдельно не указаны. Квантизация может снизить требования к ресурсам и упростить локальный запуск, но конкретные варианты квантизации и их влияние на качество зависят от файлов, доступных в репозитории. Модель ориентирована прежде всего на задачи рассуждений, однако заявленные преимущества основаны на описании разработчиков, а ограничения и результаты независимых проверок не приведены. Лицензия указана как other, поэтому точные условия использования необходимо уточнять в исходном репозитории и сопутствующих материалах.

jondurbin/spicyboros-13b-2.2 — экспериментальная языковая модель автора Jon Durbin, созданная на архитектуре Llama и дообученная преимущественно на синтетических данных Airoboros 2.2. Модель с 12,9 млрд параметров предназначена для генерации текста по инструкциям, включая ответы на вопросы, написание текстов, задания с вариантами ответа и генерацию кода. Для ответов по заданному контексту README рекомендует явно размечать входные данные; также описан интерфейс генерации JSON- или YAML-подобных аргументов для вызова функций. Контекст модели составляет 4096 токенов. Карточка описывает формат диалога с маркерами USER и ASSISTANT и сообщает, что использован промежуточный чекпойнт 350. Модель может выдавать ненормативный, токсичный и иной чувствительный контент; системные ограничения могут быть переопределены. Указанная лицензия — Llama 2 license.

Sakalti/ultiima-32B — объединённая модель генерации текста, созданная автором репозитория с помощью mergekit и метода TIES на основе Qwen/Qwen2.5-32B с участием Qwen/Qwen2.5-32B-Instruct. Модель имеет плотную архитектуру Qwen2ForCausalLM и 32 млрд параметров; веса представлены в формате safetensors. Метаданные указывают контекст до 131 072 токенов и интерфейс для диалога и вызова инструментов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно использовать для составления ответов, следования инструкциям и задач общего назначения; базовая инструктивная модель также ориентирована на программирование, математику и структурированные ответы. README приводит результаты оценок IFEval и BBH, но не описывает отдельную специализацию или гарантии качества. Поддержка русского языка явно не заявлена. Лицензия модели — Apache-2.0. README содержит конфигурацию слияния и часть результатов Open LLM Leaderboard; эти показатели не устанавливают качество для конкретных прикладных сценариев.

MaziyarPanahi/WizardLM-2-8x22B-GGUF — это набор файлов модели в формате GGUF для базовой модели microsoft/WizardLM-2-8x22B, разработанной Microsoft и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы и создание подробных, полезных и вежливых ответов ассистента. Файлы подходят для запуска с совместимыми инструментами, включая llama.cpp; репозиторий содержит шардированные варианты модели. Доступны квантизированные варианты с разной разрядностью: 2-, 3-, 4-, 5-, 6- и 8-битные GGUF-файлы. Исходная архитектура, общее число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель относится к текстовым, мультимодальность не заявлена. Разные уровни квантизации позволяют выбирать компромисс между размером файлов, требованиями к памяти и качеством, однако конкретные характеристики каждого варианта не приведены. Лицензия — Apache 2.0. Для использования требуется совместимое программное обеспечение, а параметры запуска зависят от выбранного файла квантизации и средства инференса.

Yi-1.5-6B-Chat-GGUF — русскоязычное описание модели недоступно в предоставленных данных.

Virtuoso-Large-GGUF — это набор квантизированных версий языковой модели Virtuoso-Large, разработанной arcee-ai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Для общения используется шаблон сообщений в формате ChatML с ролями system, user и assistant. Модель доступна в формате GGUF с различными вариантами квантизации от Q8_0 до Q2_K и IQ2_M. Размер файлов составляет примерно от 29,34 до 77,26 ГБ; более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти. В README не указаны точный размер исходной модели, архитектурные детали, поддерживаемые языки, длина контекста или мультимодальные возможности. Сильной стороной набора является широкий выбор вариантов для разных ограничений по памяти и производительности. Рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; версии с более низкой квантизацией экономичнее, но могут заметно уступать по качеству. Лицензия обозначена как qwen и связана с лицензией Qwen2.5-72B-Instruct, однако точные условия следует проверять в указанном лицензионном документе.

AutomatosX AX-Qwen3.8-27B-MLX-AXQ-6bit-MTP — это смешанно-точный квантованный MLX-чекпойнт на базе Qwen/Qwen3.8-27B, преобразованный компанией AutomatosX непосредственно из исходной модели BF16. Модель предназначена для генерации текста и запуска на устройствах Apple Silicon через MLX-LM, а также для нативного выполнения в AX Engine и интеграции с oMLX Lightning MTP. Модель имеет плотную архитектуру Qwen3_5ForConditionalGeneration и 27,36 млрд логических параметров. Основной языковой тракт квантован с использованием AXQuant 1.6.2; заявленный класс хранения — 6 bit, измеренный общий показатель с учётом MTP составляет 6,0001 BPW. Голова multi-token prediction и vision tower сохранены в BF16. Поддерживаются текст и vision-сценарии, аудио не поддерживается. Максимальный заявленный контекст — 262 144 токена, однако практический предел зависит от объёма unified memory. Размер весов составляет около 20,84 ГБ, полный загрузочный объём — около 20,86 ГБ. Сильными сторонами являются сохранение повышенной точности для отдельных компонентов, наличие MTP и vision tower, а также оптимизация под Apple Silicon. При этом стандартный запуск через MLX-LM гарантирует только текстовый inference и может не использовать MTP, vision-компоненты и метаданные AXQuant. Заявления об ускорении MTP ограничены профилями, указанными в сертификатах, поэтому фактическую производительность следует проверять в целевой конфигурации. Репозиторий содержит MLX Safetensors и не содержит весов PyTorch или GGUF. Модель распространяется по лицензии Apache-2.0.

baichuan-vicuna-chinese-7b — диалоговая языковая модель на 6,7 млрд параметров, созданная на базе baichuan-7B и дообученная командой fireballoon на данных ShareGPT на китайском и английском языках. Для обучения использовались также ShareGPT-ZH, примеры Chain-of-Thought, задачи LeetCode и вспомогательные данные; код обучения основан на FastChat. Модель использует плотную архитектуру LLaMA и формат PyTorch, а её контекст составляет 4096 токенов. Модель предназначена для генерации текста в диалоге: она может отвечать на вопросы, следовать инструкциям и помогать с рассуждениями и задачами по программированию. Карточка также упоминает отдельную GPTQ-квантизованную 4-битную версию, но описываемая здесь модель хранится в формате PyTorch. Лицензия в предоставленных данных не указана.