II.3Рефакторинг, миграция и модернизация

nreHieW/Llama-3.1-8B-Instruct — копия Meta Llama 3.1 8B Instruct от Meta, опубликованная пользователем nreHieW. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия; заявленная длина контекста составляет 131 072 токена. Модель принимает текст и генерирует текст. README отсылает к репозиторию Meta для условий лицензии и рекомендует получить одобрение перед использованием; дополнительные сведения о языках и специализированных областях применения в предоставленных данных отсутствуют.

Llama-3.1-Storm-8B-IMat-GGUF — это GGUF-версия модели Llama-3.1-Storm-8B, разработанной akjindal53244 и квантизированной legraphista с использованием llama.cpp и IMatrix. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и function calling. Она относится к семейству Llama 3.1 и имеет размер 8B параметров; исходный тип данных — BF16. Доступны варианты от BF16 и FP16 до низкобитных форматов, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, причём часть вариантов использует IMatrix для улучшения качества квантизации. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель ориентирована на локальный запуск через совместимое с GGUF программное обеспечение, например llama.cpp; конкретный размер контекста в README не указан. Основные преимущества — широкий выбор уровней квантизации, уменьшенный объём файлов и возможность подобрать баланс между качеством и требованиями к памяти. Низкобитные варианты могут уступать полноформатным по качеству, а сведения о результатах тестирования, мультимодальности и ограничениях безопасности отсутствуют. Лицензия указана как llama3.1.

Llama-3.1-Tulu-3-70B-GGUF — набор квантизованных версий языковой модели Llama-3.1-Tulu-3-70B, разработанной Allen Institute for AI (AI2) и опубликованной в формате GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp с использованием метода imatrix; доступны варианты от IQ1_M и Q2 до Q8_0 с различным соотношением качества, размера файла и требований к памяти. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. В README указаны английский язык и исходный набор данных RLVR-GSM-MATH-IF-Mixed-Constraints. Поддерживается формат prompt с ролями system, user и assistant. Размер базовой модели — 70 миллиардов параметров; сведения о максимальном контексте и мультимодальности не указаны. Сильной стороной являются многочисленные варианты квантизации: Q6_K и Q5 считаются высококачественными, а Q4_K_M — компромиссным вариантом для большинства сценариев. Более компактные варианты позволяют снизить требования к оперативной памяти, но обеспечивают более низкое качество. Версия Q4_0_8_8 оптимизирована для ARM и AVX и требует поддержки SVE на ARM; для Mac она не рекомендуется. Лицензия указана как llama3.1.

MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1-GGUF — это набор файлов модели в формате GGUF для MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1. Модель создана и квантована MaziyarPanahi; исходная архитектура и точные параметры в предоставленной карточке не раскрыты, однако из названия следует, что это instruct-модель семейства Llama с заявленным размером 8B и контекстом до 32k токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Формат GGUF ориентирован на использование с llama.cpp и поддерживается, среди прочего, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и Candle; возможна работа с GPU-ускорением в зависимости от выбранного инструмента и конфигурации. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Ограничения включают возможные потери качества из-за квантования, зависимость производительности от оборудования и программного окружения, а также отсутствие в README сведений о языках, точных характеристиках архитектуры, результатах тестирования и лицензии.

Lumimaid-Magnum-v4-12B-GGUF — это набор квантизированных файлов модели для генерации текста, подготовленный bartowski на основе Undi95/Lumimaid-Magnum-v4-12B. Модель создана в формате GGUF для запуска через llama.cpp и совместимых приложений, включая LM Studio. В README указано, что исходная модель является результатом объединения моделей, однако подробности её архитектуры, языков и контекстного окна не приведены. Доступны варианты от F16 до низкобитных Q2- и IQ-квантизаций размером примерно от 4,79 до 24,50 ГБ. Варианты Q6_K и Q6_K_L обеспечивают очень высокое качество, а Q4_K_M указан как типичный вариант по умолчанию с хорошим балансом качества и размера. Более компактные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать по качеству. Для взаимодействия рекомендуется формат промпта <s>[INST]{prompt}[/INST]. Квантизация выполнена с использованием imatrix и llama.cpp release b4381. Лицензия в предоставленных данных не указана.

Lumi-v2-llm-jp-4-8b — японско-английская чат-модель, разработанная SousiOmine на основе llm-jp/llm-jp-4-8b-base. Модель с архитектурой Llama и 7,8 млрд параметров прошла SFT на примерно 1,7 млрд токенов данных с шаблоном ChatML; веса доступны в формате safetensors для Transformers. Контекст модели составляет 65 536 токенов. Модель предназначена для диалоговой генерации текста, следования инструкциям и задач рассуждения на японском и английском языках. В обучающие данные вошли открытые наборы для рассуждений, мультиязычных инструкций, научных вопросов и агентного поведения, а также собственные данные разработчика для вопросов и ответов по коду на японском. Лицензия модели — Apache-2.0. Качество ответов зависит от запроса и тематики; карточка не приводит сравнительных оценок или подробных гарантий качества. Лицензии и условия использования отдельных обучающих наборов различаются и требуют проверки по их карточкам.

Это GGUF-квантизированная версия модели Mistral-Small-2501-SCE-Mashup-2-24B, разработанной mergekit-community. Квантизацию выполнил bartowski с использованием llama.cpp версии b5147 и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 24B параметров и представлена в нескольких вариантах точности, включая BF16, Q8_0, Q6, Q5, Q4 и IQ4, с размером файлов примерно от 12,76 до 47,15 ГБ. Для взаимодействия используется шаблон промпта с системным сообщением и инструкцией. В README не указаны модальности, поддерживаемые языки и размер контекстного окна. Сильной стороной являются варианты Q6 и Q5 с высоким заявленным качеством, а также Q4-варианты, предлагающие компромисс между качеством и требованиями к памяти. Более компактные сборки подходят для систем с ограниченным объёмом RAM, но могут иметь более низкое качество. Лицензия в README не указана.

winglian/Meta-Llama-3-8B-1M — слитая модель на базе Llama 3 8B, созданная объединением исходной модели с LoRA-адаптером от инструкционной модели Gradient AI с контекстом 1M токенов. Это плотная авторегрессионная языковая модель класса LlamaForCausalLM с 7,5 млрд параметров, предназначенная для генерации текста и работы с длинным контекстом. Репозиторий содержит веса в формате safetensors. Модель подходит для генерации продолжений и ответов на запросы с большим объёмом текста в контексте. README не сообщает сведения о поддерживаемых языках или конкретных оценках качества. Лицензия в предоставленных данных не указана.

Mistral-Small-24B-Base-2501-GGUF — это квантизированная GGUF-версия базовой языковой модели Mistral-Small-24B-Base-2501, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит 24 миллиарда параметров и представлена в нескольких вариантах точности: от F32 до Q3 и IQ-квантизаций. Доступны версии с разным размером файла и компромиссом между качеством и требованиями к памяти; наиболее сбалансированным вариантом в README назван Q4_K_M, а Q5 и Q6 отмечены как высококачественные. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Сведения об архитектуре, размере контекста, мультимодальности и формате промпта в README не указаны. Сильная сторона модели — возможность локального инференса с выбором уровня квантизации, что позволяет адаптировать потребление памяти под доступное оборудование. Ограничения зависят от выбранного варианта: более компактные квантизации снижают качество, а старшие требуют значительного объёма памяти. Модель является базовой, поэтому готовый формат инструкций не предоставлен и параметры использования следует уточнять на странице исходной модели. Лицензия — Apache-2.0.

Mistral-Nemo-NT-Ko-12B-dpo — диалоговая языковая модель на архитектуре Mistral с 12,1 млрд параметров, созданная werty1248 как дополнительное DPO-дообучение модели werty1248/Mistral-Nemo-NT-Ko-12B-sft с помощью LoRA. Она предназначена для генерации ответов по инструкциям и многоходового общения; в описанных тестах показала сильные результаты по письму и программированию, однако DPO дало лишь небольшое общее улучшение относительно базовой SFT-модели. Для DPO использовались англоязычные, корейские и китайские пары предпочтений; часть корейских данных была переведена с английского. Базовая модель поддерживает контекст до 128K токенов, но это дообучение выполнялось с контекстом 8K. Метаданные указывают английский, корейский, японский и китайский языки. Модель распространяется в формате safetensors по лицензии Apache-2.0.

MaziyarPanahi/Mixtral-8x22B-v0.1-GGUF — это квантованная версия базовой языковой модели Mixtral-8x22B-v0.1, разработанной Mistral AI и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных сценариях инференса, включая работу через llama.cpp. Базовая модель допускает дообучение. Модель использует разреженную архитектуру Mixture of Experts (MoE): заявлено 176 млрд параметров, из которых около 35 млрд активны при обработке токена; в другом описании также указано 141 млрд параметров MoE. Заявленная длина контекста составляет до 65 тысяч токенов. Доступны варианты квантования от 2 до 8 бит, а также 16-битный вариант, что позволяет выбирать между требованиями к памяти и качеством. Указана поддержка английского, французского, испанского, итальянского и немецкого языков. Сильной стороной модели являются большой контекст, высокая емкость MoE-архитектуры и возможность локального запуска в квантованных вариантах: для FP16 требуется около 260 ГБ видеопамяти, для INT4 — около 73 ГБ. Ограничения включают значительные аппаратные требования даже при квантовании, а также отсутствие в README подробных результатов оценки качества и гарантии одинаковых характеристик для всех вариантов квантования. Модель распространяется по лицензии Apache 2.0.

Это квантованные версии инструкционной языковой модели Kimi-K2-Instruct-0905, разработанной Moonshot AI и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В репозитории представлены варианты квантования Q5_K_M, Q4_K_M, Q4_1, Q4_0, IQ4_NL, IQ4_XS, Q3, Q2 и другие. Размер файлов зависит от варианта и составляет примерно от 245,61 до 730,53 ГБ; для большинства сценариев рекомендуются Q5_K_M и Q4_K_M, а варианты с более низкой разрядностью требуют меньше оперативной памяти, но обеспечивают более низкое качество. Квантование выполнено с использованием imatrix и llama.cpp версии b6317. README не содержит сведений об архитектуре исходной модели, числе параметров, поддерживаемых языках, модальностях, размере контекста, точном формате промптов или лицензии. Поэтому эти характеристики нельзя достоверно определить по представленным данным.

Kimi-K2-Thinking-GGUF — это набор квантованных GGUF-версий языковой модели Kimi-K2-Thinking, разработанной moonshotai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска через llama.cpp, LM Studio и другие совместимые проекты, включая локальный инференс. В набор входят варианты квантования Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и другие, с размером файлов примерно от 283 до 1090 ГБ среди указанных версий. Более крупные варианты обычно обеспечивают более высокое качество, тогда как компактные требуют меньше оперативной памяти, но заметно уступают по качеству; README рекомендует, в частности, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS в зависимости от доступных ресурсов. Сведения об архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекста в карточке отсутствуют. Преимущество набора — широкий выбор квантований и совместимость с экосистемой llama.cpp. Ограничениями являются очень большие требования к дисковому пространству и памяти даже у наиболее компактных вариантов, а также возможное снижение качества при низком уровне квантования. Формат prompt не указан. Для модели заявлена лицензия modified-MIT, при этом в метаданных также указано значение other; перед использованием следует проверить условия лицензии исходной модели moonshotai/Kimi-K2-Thinking.

Карточка модели OpenMOSS-Team/moss-moon-003-sft-plugin на Hugging Face совпадает с карточкой OpenMOSS-Team/moss-moon-003-sft, поэтому описание составлено по ней. MOSS-moon-003-sft — языковая модель с 16 млрд параметров, разработанная командой OpenMOSS-Team. Она основана на CodeGen и предварительно обучена на китайских, английских и программных токенах, после чего дообучена с учителем на примерно 1,1 млн многоходовых диалогов. Модель предназначена для диалогов с пользователем, следования инструкциям в нескольких репликах и отказа на неподходящие запросы. Модель принимает текст и генерирует текст; карточка указывает поддержку английского и китайского языков и контекст до 2048 токенов. Её можно применять для ответов на вопросы, простых математических задач, помощи с кодом и китайскоязычных диалогов. Описанные требования к запуску составляют 31 ГБ видеопамяти для загрузки в FP16 и больше при генерации; доступны варианты MOSS в INT8 и INT4, но этот репозиторий содержит веса PyTorch. Модель может выдавать неверную, вводящую в заблуждение или предвзятую информацию, поэтому ответы следует проверять. Лицензия — AGPL-3.0.

bartowski/open-thoughts_OpenThinker2-7B-GGUF — это квантизированная GGUF-версия языковой модели OpenThinker2-7B, разработанной open-thoughts. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Для работы используется формат запросов с ролями system, user и assistant на основе специальных токенов ChatML. Модель содержит 7 миллиардов параметров и распространяется в вариантах от BF16 до низкобитных квантований Q2–Q8, включая семейства Q_K, IQ и legacy-форматы. Размер файлов составляет примерно от 3,5 до 15,2 ГБ; варианты с более высокой точностью обеспечивают лучшее качество, а низкобитные версии требуют меньше оперативной памяти. В README не указаны языки, размер контекстного окна, конкретные мультимодальные возможности или архитектурные детали базовой модели. Сильной стороной является широкий выбор квантований для разных аппаратных ограничений и оптимизация с использованием imatrix. Ограничения зависят от выбранного варианта: более компактные версии могут заметно уступать по качеству, а полная BF16-версия требует значительных ресурсов. Модель и квантованные файлы распространяются по лицензии Apache-2.0; квантизация выполнена bartowski с использованием llama.cpp.

Ornith-1.0-9B-1M-GGUF — это GGUF-сборка модели Ornith-1.0-9B, основанной на dense-архитектуре семейства Qwen3.5. Исходная модель разработана DeepReinforce, а данный вариант опубликован satgeze. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama и совместимые инструменты. Ключевая особенность — контекстное окно до 1 048 576 токенов благодаря встроенному масштабированию RoPE методом YaRN; это в четыре раза больше заявленного исходного окна в 262 144 токена. В сборку также встроен слой MTP для speculative decoding, который, согласно README, может увеличить скорость декодирования в llama.cpp на 15–38%. Доступна vision-модальность через отдельный проектор mmproj, поэтому модель может обрабатывать изображения в поддерживаемых конфигурациях. Предлагаются варианты квантования от IQ2_M до bf16, включая MTP-сборки Q4_K_M и Q8_0; размер файлов варьируется примерно от 3,6 до 17,9 ГБ, а vision-проектор занимает 918 МБ. Это позволяет выбирать между требованиями к памяти и качеством, однако фактическая скорость и возможность работы с контекстом в миллион токенов зависят от оборудования и используемого рантайма. Языки обучения и поддерживаемые языки в README не указаны. Модель распространяется по лицензии MIT.

Ornstein-27B-v2-i1-GGUF — это квантованная версия модели Ornstein-27B-v2, разработанной DJLougen и преобразованной в формат GGUF пользователем mradermacher. Модель относится к семейству Qwen3.5 и предназначена для локального запуска с использованием совместимых инструментов, поддерживающих GGUF. По данным карточки, модель ориентирована на диалоговые сценарии, рассуждения и задачи image-text-to-text, то есть может работать с текстом и изображениями. Заявлен английский язык. Размер исходной модели составляет 27B параметров, однако сведения о точной архитектуре, максимальной длине контекста и фактическом наборе поддерживаемых модальностей в карточке не приведены. Репозиторий содержит набор вариантов квантования с разными компромиссами между размером, скоростью и качеством: от примерно 7,2 до 22,2 ГБ. В частности, Q4_K_M отмечен как быстрый и рекомендуемый вариант, а Q4_K_S — как оптимальный по сочетанию размера, скорости и качества; наиболее низкие уровни квантования могут заметно снижать качество ответов. Условия использования унаследованы от указанной лицензии Apache-2.0.

jaromer/outsourc-e-Qwen3.8-27B-Unleashed-GGUF — это квантованная GGUF-версия uncensored-модели Qwen3.8-27B. В основе лежит JonathanColetti/Qwen3.8-27B-Uncensored; файлы подготовлены с использованием подхода Unsloth Dynamic 3.0, а карта динамического распределения битов применена к этим весам с соответствующей importance matrix. Модель предназначена для генерации текста и может использоваться локально через совместимые инструменты, включая llama.cpp. Модель содержит около 27 млрд параметров, поддерживает текстовую модальность, английский и китайский языки и контекст до 262 144 токенов. Доступно девять уровней квантования, включая UD-IQ1_M, UD-IQ2_S, UD-IQ3_XXS, UD-Q3_K_XL и UD-IQ4_XS. Динамическое распределение битов сохраняет более высокую точность в чувствительных тензорах и сильнее сжимает менее критичные, что, по заявленным измерениям, позволяет варианту UD-Q3_K_XL превзойти протестированные варианты Q4 по perplexity при меньшем размере. Для него также заявлена проверенная работа с длинным контекстом и извлечение данных на 250 806 токенах. Сильными сторонами являются uncensored-характер модели, широкий выбор квантов, эффективное соотношение качества и размера, а также поддержка очень длинного контекста. Ограничения включают зависимость скорости и качества от конкретного уровня квантования, оборудования и настроек запуска; приведённые показатели измерены на RTX 4090 с llama.cpp и не гарантируют аналогичные результаты в других конфигурациях. Для некоторых квантов полный набор тестов скорости и извлечения ещё не завершён. Модель распространяется по лицензии Apache 2.0.

Penjing-27B-Pollard — это квантизированная версия Qwen/Qwen3.8-27B, подготовленная PollardWeights с использованием метода Pollard Weights. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, ik_llama.cpp, Ollama и LM Studio. Указанная архитектура — qwen3_5, объём — около 27,3 млрд параметров. Поддерживаются текстовые и графические входы, а заявленный язык — английский. Модель рассчитана на диалоговые сценарии и мультимодальные задачи, включая работу с изображениями при использовании дополнительного vision-проектора mmproj-Penjing-27B-bf16.gguf. Доступно несколько вариантов квантизации с разным соотношением размера и качества: от IQ1_KT размером 6,53 ГБ до Q6_K размером 22,43 ГБ. Квантизация основана на измерении чувствительности отдельных слоёв и использует importance matrix; это позволяет эффективнее распределять биты по сравнению с равномерным сжатием. Главное преимущество модели — существенное уменьшение требований к памяти: вариант IQ1_KT примерно на 88% меньше исходной версии f16. При этом качество зависит от выбранного файла: по измерениям на wikitext2 вариант IQ2_KT показал perplexity 5,0817 и был обозначен как рекомендуемый вариант по умолчанию, тогда как IQ1_KT обеспечивает минимальный размер, но заметно сильнее отклоняется от f16. IQ1_KT и IQ2_KT требуют ik_llama.cpp; остальные варианты совместимы со стандартным llama.cpp. Результаты измерений получены на одной машине и могут не полностью отражать качество в прикладных задачах. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

RedHatAI/Phi-3-medium-128k-instruct-quantized.w4a16 — это квантизированная версия инструкционной языковой модели Phi-3-medium-128k-instruct, разработанная Neural Magic на базе модели Microsoft. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычных ассистентских диалогов, чат-ботов и задач генерации ответов, а также для коммерческого и исследовательского использования. Модель использует архитектуру Phi-3 и поддерживает контекст размером до 128 тысяч токенов. Веса линейных операторов в трансформерных блоках квантизированы в формат INT4 по схеме W4A16 с симметричной групповой квантизацией и размером группы 128; для квантизации применён GPTQ через библиотеку llm-compressor. Оптимизация сокращает объём хранения и требования к GPU-памяти примерно на 25% по сравнению с 16-битной версией. Указанный результат на OpenLLM Leaderboard v1 составляет 72,38 против 74,46 у неквантизированной модели. К сильным сторонам относятся большой контекст и сниженные требования к памяти, что упрощает эффективное развёртывание через vLLM или Transformers. Ограничения включают специализацию на английском языке, возможное снижение качества из-за квантизации и недопустимость использования в языках, отличных от английского, согласно README. В README указана лицензия MIT, однако в метаданных также присутствует обозначение llama2; перед использованием следует проверить применимые лицензионные условия.

Phi-3-medium-4k-instruct-IMat-GGUF — квантизированная версия языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft. Релиз подготовлен пользователем legraphista с использованием llama.cpp и представлен в формате GGUF для локального запуска и генерации текста. Модель предназначена для диалоговых сценариев, выполнения инструкций и других задач текстовой генерации. Исходная модель использует формат BF16, а репозиторий содержит варианты с разными уровнями точности и размером от 4,13 до 27,92 ГБ: FP16, BF16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизации. Для ряда вариантов применена IMatrix-квантизация, позволяющая уменьшить размер модели с сохранением качества по сравнению с обычной квантизацией. Указаны мультиязычная поддержка и контекст до 4096 токенов; доступна только текстовая модальность. Преимущества модели — широкий выбор вариантов квантизации, возможность подбора соотношения качества и требований к памяти, а также совместимость с экосистемой llama.cpp. Ограничения включают потерю качества при использовании наиболее компактных вариантов и высокие требования к ресурсам для полноточных версий; конкретные языки, архитектурные детали и результаты оценки в README не указаны. Модель распространяется по лицензии MIT.

QuantFactory/Qwen2-1.5B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2-1.5B-Instruct, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, понимание естественного языка, программирование, математику и рассуждения. Формат GGUF ориентирован на локальный запуск с совместимыми инструментами. Модель содержит около 1,5 млрд параметров и построена на декодерной архитектуре Transformer с активацией SwiGLU, смещениями в QKV-проекциях и group query attention. Токенизатор адаптирован для нескольких естественных языков и языков программирования, однако в карточке явно указан только английский язык. Обучение включало предварительное обучение, supervised fine-tuning и direct preference optimization. Размер контекста, точные параметры квантизации и перечень поддерживаемых языков не указаны. К сильным сторонам относятся компактный размер, возможность локального использования и заявленная конкурентоспособность в задачах понимания языка, генерации, программирования и математики. В опубликованном сравнении Qwen2-1.5B-Instruct получил 52,4 на MMLU, 37,8 на HumanEval, 61,6 на GSM8K, 63,8 на C-Eval и 29,0 на IFEval Prompt Strict-Acc. Ограничениями являются меньший объём модели по сравнению с крупными LLM, возможное снижение качества из-за квантизации и отсутствие данных о конкретном формате квантизации. Лицензия — Apache-2.0.

bartowski/Qwen2.5-3B-GGUF — набор GGUF-квантизованных вариантов базовой языковой модели Qwen2.5-3B, опубликованный и квантизованный bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через совместимые инструменты, включая llama.cpp и LM Studio; в README также указан специальный формат промпта с ролями system, user и assistant. Доступны варианты от полного формата F32 размером 12,35 ГБ до сильно сжатых вариантов IQ3_M размером 1,49 ГБ. Большинство сборок используют квантизацию Q4–Q8, а некоторые сохраняют embedding- и output-веса в формате Q8_0 для потенциального улучшения качества. Для ARM-процессоров предусмотрены отдельные варианты Q4_0_4_4, Q4_0_4_8 и Q4_0_8_8; их совместимость зависит от поддержки соответствующих инструкций. Более качественные варианты требуют больше оперативной памяти, а компактные варианты снижают требования к памяти ценой качества. Модель относится к текстовым, поэтому README не подтверждает поддержку изображений, аудио или других модальностей. Языки, размер контекста, конкретные архитектурные характеристики базовой модели и результаты бенчмарков в предоставленных данных не указаны. Лицензия также не указана, поэтому условия коммерческого и иного использования следует уточнять в исходном репозитории Qwen/Qwen2.5-3B и у опубликованного набора.

Qwen-2.5-7B-Deep-Stock-v2 — слитая разговорная языковая модель от bunnycore, созданная методом Model Stock с помощью mergekit. В качестве основы использована fblgit/cybertron-v4-qw7B-UNAMGS; в слияние также вошли FuseChat-Qwen-2.5-7B-Instruct, Intelligence-R1-Distill-7B, DeepSeek-R1-Distill-Qwen-MFANN-Slerp-7b и предыдущая версия модели. Модель построена на плотной архитектуре Qwen2 с 7,1 млрд параметров, работает через Transformers и принимает текст для генерации текста в диалоговом формате. Метаданные указывают контекст до 131 072 токенов и интерфейс для вызова инструментов. Подходит для диалогов и генерации ответов; слияние с моделями для инструкций и дистиллятами DeepSeek-R1 предполагает ориентацию на следование инструкциям и рассуждения, однако README не приводит оценок качества или подробных результатов тестирования. Лицензия в предоставленных данных не указана. Как и у других слитых моделей, качество и стабильность ответов могут зависеть от запроса; фактические пределы контекста и поддержка вызова инструментов зависят от используемого окружения.

lmstudio-community/Qwen3-14B-MLX-8bit — это 8-битная версия модели Qwen3-14B, разработанная сообществом lmstudio-community и преобразованная в формат MLX из исходной модели Qwen/Qwen3-14B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в сценариях локального инференса на совместимом оборудовании Apple MLX. В README указаны архитектура Qwen3-14B, размер 14B параметров, формат MLX и 8-битное представление весов. Модель поддерживает диалоговый режим через chat template, если он доступен в токенизаторе. Данные о языках, размере контекста, поддерживаемых модальностях, производительности и конкретных требованиях к оборудованию не приведены. Ограничения также отдельно не описаны; практические характеристики зависят от исходной модели, реализации MLX и используемой системы. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README приводит пример загрузки модели и генерации текста через Python API.

Qwen3-235B-A22B-Instruct-2507-MLX-6bit — это 6-битная квантованная версия текстовой instruct-модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и предназначено для оптимизированного запуска на компьютерах с Apple Silicon. Модель распространяется как community-модель LM Studio и основана на оригинальной модели Qwen/Qwen3-235B-A22B-Instruct-2507. Модель предназначена для генерации текста и выполнения инструкций, однако README не содержит подробностей о поддерживаемых языках, размере контекста, архитектуре, модальностях и конкретных сценариях применения. Квантование снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность и качество ответов; кроме того, вариант ориентирован прежде всего на экосистему Apple Silicon. Модель предоставляется по лицензии Apache-2.0. Как и другие генеративные модели, она может создавать неточные, вредные или вводящие в заблуждение материалы, поэтому результаты требуют проверки.

Qwen3-4B-Instruct-2507-NVFP4 — это квантизированная версия инструкционной языковой модели Qwen/Qwen3-4B-Instruct-2507, опубликованная под идентификатором llmat/Qwen3-4B-Instruct-2507-NVFP4. Квантизация выполнена с помощью llmcompressor по схеме NVFP4: она применяется к линейным слоям, а слой lm_head исключён. Для калибровки использовано 512 образцов, максимальная длина последовательности при калибровке составляла 2048 токенов. Модель предназначена для генерации текста и диалоговых сценариев с применением инструкций, включая развёртывание через backend vLLM и OpenAI-совместимый сервер. В README не указаны точные поддерживаемые языки, максимальная длина контекста исходной модели, модальности или архитектурные детали помимо квантизации и принадлежности к семейству Qwen. Основное преимущество — потенциально более эффективное по ресурсам выполнение благодаря NVFP4-квантизации; возможным ограничением является влияние квантизации на качество, однако количественные результаты оценки не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-abliterated-NVFP4 — производная версия модели wangzhang/Qwen3.5-122B-A10B-abliterated, основанной на Qwen/Qwen3.5-122B-A10B. Репозиторий поддерживается автором bjk110 и предназначен для локального запуска и сервинга текстовой генерации. Модель использует архитектуру Qwen3.5 MoE с 256 маршрутизируемыми экспертами, из которых активно 10 млрд параметров. Она поддерживает английский, корейский, китайский и японский языки. Контекстное окно может достигать 131 072 токенов при использовании указанной конфигурации vLLM. Это текстовая версия мультимодальной архитектуры: в данном чекпойнте присутствуют только текстовые веса, поэтому мультимодальные сценарии не поддерживаются. Основное изменение — квантизация NVFP4 с использованием compressed-tensors. Квантизированы маршрутизируемые и общие эксперты, а также self-attention; linear attention, эмбеддинги, нормализации и гейты сохранены в BF16. Размер уменьшен с 228 ГБ в BF16 до 71,2 ГБ, формат хранения — safetensors в двух шардах. Сильными сторонами являются существенное снижение требований к памяти и совместимость с NVFP4 MoE-ядром vLLM. Ограничения включают необходимость специального патча vLLM, зависимость от совместимого оборудования NVIDIA и отсутствие мультимодальных возможностей; заявленные показатели производительности проверены на NVIDIA DGX Spark и не гарантируются для других конфигураций. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled — языковая модель для генерации текста и задач, требующих многошагового рассуждения. Она разработана на базе плотной архитектуры Qwen3.5-2B и дообучена с помощью Supervised Fine-Tuning (SFT) и LoRA на дистиллированных траекториях рассуждений, преимущественно полученных из взаимодействий с Claude 4.6 Opus. Дополнительные данные от Qwen3.5-27B и набора Qwen3.5-reasoning-700x расширяют покрытие научных, математических и инструкционных задач. Модель предназначена для офлайн-аналитики, программирования, математики, решения сложных логических задач и сценариев, где полезно структурированное пошаговое рассуждение. Обучение ориентировано на формат с блоком <think> перед итоговым ответом и на более последовательное планирование решения. Поддерживается контекст до 16 384 токенов. В README указан английский язык; сведения о других языках и дополнительных модальностях отсутствуют. К сильным сторонам относятся компактный размер 2B параметров, структурированное рассуждение и сниженная избыточность переходов при решении простых запросов. Модель сохраняет риск галлюцинаций и не гарантирует достоверность внешних фактов. Это тестовая версия, предназначенная для обучения, демонстрации, академических исследований и технических экспериментов, а не для критически важных применений. Лицензия — Apache-2.0.

tvall43/Qwen3.6-14B-A3B-vibetuned-GGUF — это квантизированная GGUF-версия модели tvall43/Qwen3.6-14B-A3B-vibetuned, разработанная автором tvall43 на основе pruned-модели Qwen3.6-35B-A3B-heretic. После сокращения до 14 млрд параметров модель была дообучена методом QLoRA на данных для рассуждений Magpie Opus Pro и структурированной логики Hermes Function Calling. Модель предназначена для локальной генерации текста, диалоговых сценариев, рассуждений и вызова функций через llama.cpp и совместимые среды, включая LM Studio, Ollama и text-generation-webui. Она заявлена как мультимодальная и поддерживает работу с изображениями при использовании multimodal projector mmproj. Язык README указан как английский; размер контекста и точный набор поддерживаемых языков не приведены. Доступны варианты F16, Q8_0, Q6_K, Q4_K_M, Q3_K_M, Q2_K и MXFP4 с разными компромиссами между качеством, скоростью и требованиями к памяти. Q4_K_M ориентирован на локальный запуск примерно в 8 ГБ VRAM, Q8_0 требует около 15 ГБ памяти, а MXFP4 зависит от поддержки inference engine. Ограничениями являются возможная потеря качества в более агрессивно квантизированных вариантах и необходимость актуальной версии совместимого inference engine. Лицензия — Apache-2.0.