II.3Рефакторинг, миграция и модернизация

TuralBayev разработал axeron-verify-05weight как объединённую модель семейства Qwen2.5, созданную методом Task Arithmetic с помощью forgelm. В основе лежит Qwen/Qwen2.5-3B; при объединении использованы Qwen2.5-3B-Instruct и Qwen2.5-Coder-3B-Instruct. Модель имеет плотную архитектуру Qwen2ForCausalLM, содержит 3,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; поддержка интерфейса вызова инструментов указана в метаданных. Веса сохранены в формате safetensors, для вычислений использована точность bfloat16. Карточка не описывает отдельные области применения или языки; базовая модель Qwen2.5-3B-Instruct характеризуется каталогом как компактная многоязычная модель для выполнения инструкций и генерации текста, включая структурированные ответы. Лицензия в предоставленных данных не указана. Качество и специализация результата объединения отдельно не описаны, поэтому его пригодность для конкретных задач следует оценивать на соответствующих примерах.

bartowski/DeepSeek-V2.5-1210-GGUF — это набор квантованных версий языковой модели DeepSeek-V2.5-1210, разработанной DeepSeek и подготовленной в формате GGUF для запуска через llama.cpp и совместимые приложения. Модель предназначена для генерации текста и локального инференса; README указывает pipeline_tag text-generation. Доступны варианты квантования от Q8_0 до Q2_K и IQ-квантов, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. Размеры отдельных вариантов составляют примерно от 76,92 до 250,62 ГБ, многие версии являются разделёнными файлами. Сильной стороной набора является широкий выбор квантований, включая варианты, рекомендованные автором как обеспечивающие высокое или хорошее качество, а также версии, оптимизированные для ARM или AVX. Ограничения связаны с очень большим объёмом модели, снижением качества при низких уровнях квантования и необходимостью использовать параметр --no-context-shift либо эквивалентную настройку для корректной политики переполнения контекста. Формат prompt должен соответствовать шаблону DeepSeek, приведённому в README. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Лицензия обозначена как deepseek; ссылка ведёт на лицензию модели DeepSeek.

Eunoia-Llama-8B-R1 — объединённая текстовая языковая модель на архитектуре Llama, созданная с помощью mergekit методом TIES. В основу объединения вошли GoToCompany/llama3-8b-cpt-sahabatai-v1-instruct и huihui-ai/DeepSeek-R1-Distill-Llama-8B-abliterated; итоговая модель содержит около 7,5 млрд параметров и использует формат Safetensors. Модель предназначена для генерации текста и диалогового взаимодействия. Карточка базовой модели указывает на сценарии рассуждений, математики и программирования, однако README Eunoia не содержит отдельных оценок качества или подробных рекомендаций по применению. Контекст составляет 8192 токена. Данных о поддерживаемых естественных языках и лицензии в предоставленных источниках нет.

FuseChat-Gemma-2-9B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели FuseChat-Gemma-2-9B-Instruct, разработанной FuseAI и опубликованной в формате GGUF пользователем bartowski. Квантизации созданы с помощью llama.cpp версии b4273 и метода imatrix, предназначены для локального запуска и совместимы, в частности, с LM Studio. Модель относится к текстовым генеративным моделям и предназначена для диалогов, следования инструкциям и других сценариев генерации текста. Указан размер базовой модели — 9 миллиардов параметров; поддерживаемые модальности, языки и размер контекста в README не описаны. Для работы используется специальный шаблон промпта с маркерами Gemma для ролей пользователя и модели. Доступны варианты от F32 и F16 до квантизаций Q8, Q6, Q5, Q4 и Q3, а также IQ-форматы, что позволяет выбирать между качеством, размером файла и требованиями к памяти. В README рекомендуются, среди прочих, Q6_K_L, Q6_K, Q5 и Q4 варианты; некоторые сборки оптимизированы для ARM или AVX, а отдельные требуют аппаратной поддержки i8mm или sve и не предназначены для Mac. Более компактные варианты экономят память, но могут снижать качество генерации. Лицензия в предоставленных данных не указана.

MaziyarPanahi/gemma-3-27b-it-GGUF — это набор квантованных файлов модели Gemma 3 27B Instruct в формате GGUF. Исходную модель разработала Google, а конвертацию и публикацию квантованных версий выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Репозиторий содержит варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью работы и качеством ответов. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами; некоторые из них поддерживают ускорение на GPU и OpenAI-совместимый сервер. Ключевые сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Ограничения зависят от выбранного уровня квантования и используемого клиента. Лицензия для опубликованных файлов в предоставленных данных не указана.

DFveloper/gemma-4-26B-A4B-it-qat-q4_0-Claude-Opus-Distill-v2-GGUF — языковая модель для генерации текста и задач, требующих рассуждений. Она создана как производная от Lumen 3.1 Pulsar QAT с переносом части поведения модели TeichAI/gemma-4-26B-A4B-it-Claude-Opus-Distill-v2, обученной на данных с рассуждениями Claude Opus. Разработчик данной сборки — DFveloper; исходные компоненты и данные связаны с 0x795E2795, TeichAI и Crownelius. Модель использует архитектуру Gemma 4 с конфигурацией 26B A4B и MoE, поставляется в формате GGUF с квантизацией q4_0 и предназначена для запуска с llama.cpp, Text Generation Inference, Transformers и Unsloth. При создании из исходной модели был извлечён дельта-апдейт весов, аппроксимирован LoRA-адаптером и объединён с QAT-чекпойнтом Lumen 3.1 Pulsar. Благодаря этому модель сохраняет характеристики базового QAT-чекпойнта и частично перенимает поведение, связанное с высокоуровневыми рассуждениями. Сильными сторонами являются компактное 4-битное представление, совместимость с распространённой экосистемой GGUF и ориентация на reasoning-сценарии. Ограничения включают приблизительный характер переноса дельты через LoRA; заявленные свойства и качество не следует приписывать исходной модели Claude Opus напрямую. В README не указаны поддерживаемые языки, размер контекста, точные показатели качества и дополнительные модальности, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0.

bark07/kanana-1.5-8b-instruct-2505-Persona-Merged — дообученная разработчиком bark07 диалоговая текстовая модель на архитектуре Llama, основанная на kakaocorp/kanana-1.5-8b-instruct-2505. Она предназначена для генерации текста в формате диалога; исходная модель также поддерживает программирование, математику и вызов инструментов. Модель содержит 7,5 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель опубликована в формате safetensors и обучалась с использованием Unsloth и библиотеки TRL от Hugging Face. Лицензия — Apache-2.0. Карточка не описывает отдельные характеристики обучения Persona или сравнительные результаты.

luckysong777 дообучил Kanana 1.5 Instruct 8B — плотную Llama-модель для генерации текста и диалогового взаимодействия. Модель содержит 7,5 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. В метаданных указаны интерфейс вызова инструментов и английский язык; README сообщает, что обучение выполнялось с Unsloth и библиотекой TRL. Модель подходит для диалоговых сценариев и генерации текста, унаследовав возможности базовой kakaocorp/kanana-1.5-8b-instruct-2505, включая программирование, математику и вызов инструментов. Распространяется по лицензии Apache-2.0. README не описывает отдельную специализацию этого дообучения или его сравнительное качество.

LeroyDyer/LCARS_TOP_SCORE — объединённая автором модель Mistral для генерации текста и диалога, основанная на нескольких моделях, включая chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Она содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. В метаданных заявлена поддержка английского языка, а карточка описывает её как модель с высокими результатами на тестах Open LLM Leaderboard v2. Модель предназначена для диалогов и генерации текста; метаданные также отмечают работу с кодом. Результаты в README не согласуются с приведёнными там же метриками: заявлено среднее 78,9, тогда как таблица показывает 20,32. Лицензия — OpenRAIL.

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF — это квантизированные GGUF-версии инструкционной языковой модели Llama-3.1-Nemotron-70B-Instruct-HF, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; доступны варианты с разными уровнями сжатия и размером файлов примерно от 26 до 75 ГБ. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. В README указан английский язык, а также набор данных NVIDIA HelpSteer2, использованный для исходной модели. Архитектура описана как Llama 3.1 Nemotron с размером 70B параметров; поддерживаемые модальности ограничены текстом. Контекстное окно в представленном описании не указано. Сильная сторона семейства — возможность выбрать баланс между качеством и требованиями к памяти: варианты Q6_K и Q5 считаются близкими к исходному качеству, а более компактные Q3 и Q2 подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Q4_K_M обозначен как вариант стандартного размера. Квантизации предназначены для локального запуска, однако даже компактные версии требуют значительных ресурсов. Модель распространяется по лицензии llama3.1.

Это 4-битная квантованная версия модели meta-llama/Llama-3.3-70B-Instruct, созданная и протестированная The Kaitchup. Модель сериализована в формате GPTQ с использованием AutoRound и симметричной квантизации. Модель предназначена для задач генерации текста и следования инструкциям на английском языке, включая диалоговые и другие NLP-сценарии, поддерживаемые исходной Llama 3.3 70B Instruct. Ключевая характеристика — размер исходной модели 70 млрд параметров и 4-битное представление весов, что уменьшает требования к памяти по сравнению с полной версией и делает запуск на совместимом GPU более доступным. К преимуществам относятся сохранение возможностей большой instruct-модели при сниженных требованиях к памяти, а также совместимость с инструментами и форматом GPTQ. Ограничения связаны с использованием квантования, которое может влиять на точность и качество генерации; сведения о контексте, поддерживаемых модальностях, производительности и конкретных требованиях к оборудованию в README не указаны. Модель распространяется по лицензии Llama 3.3.

MedIT-Mesh-3B-Instruct — дообученная инструктивная языковая модель, разработанная MedIT Solutions на базе microsoft/Phi-3.5-mini-instruct. Она содержит 3,7 млрд параметров и предназначена для диалогов и генерации текста, в том числе в сценариях с ограниченными ресурсами и требованиями к низкой задержке. По данным карточки, дополнительное постобучение улучшило многоязычные и многоходовые диалоги, а также рассуждения в задачах программирования, математики и логики. Модель использует плотную архитектуру Phi-3 и принимает текст, формируя текстовые ответы; заявленная длина контекста — 4096 токенов. Карточка указывает английский язык, а описание заявляет многоязычное применение без перечисления дополнительных языков. Модель распространяется по лицензии MIT. Перед применением в конкретной задаче следует оценить точность, безопасность и справедливость ответов.

MeowGPT ll3 — разговорная языковая модель, разработанная CutyCat2000x на базе Llama 3. Это плотная авторегрессионная модель класса LlamaForCausalLM с 7,5 млрд параметров и контекстом до 8192 токенов. Модель загружается через Transformers; веса опубликованы в формате safetensors и распространяются по лицензии MIT. Модель предназначена для генерации диалоговых ответов и других текстовых задач по запросу. В обучении использовались наборы данных SlimOrca-Dedup, airoboros-3.2, Orca Math Word Problems, Code-Feedback, WizardLM Evol Instruct V2 и ORPO DPO Mix. В карточке указана поддержка английского языка. Модель может ошибаться или выдавать неуместные ответы, поэтому результаты следует проверять перед применением в важных сценариях.

nm-testing/Meta-Llama-3-8B-Instruct-W8-Channel-A8-Dynamic-Asym-Per-Token-Test — тестовый квантованный вариант Meta Llama 3 8B Instruct, размещённый организацией NM Testing; исходную модель разработала Meta. Репозиторий предназначен для генерации текста и диалоговых сценариев и поддерживает использование через Transformers, vLLM и SGLang. Суффикс W8-Channel-A8-Dynamic-Asym-Per-Token указывает на 8-битное представление весов и динамическое асимметричное квантование активаций по токенам; точные характеристики реализации квантования и результаты её оценки в карточке модели не описаны. Базовая модель представляет собой авторегрессионный языковой model с оптимизированной архитектурой Transformer и Grouped-Query Attention, содержит около 8 млрд параметров, принимает только текст и генерирует текст и код. Контекст составляет 8 тысяч токенов, модель ориентирована прежде всего на английский язык и диалог с инструкциями. Она подходит для чат-ассистентов, генерации и обработки текста, но является статической моделью с ограниченным актуальным знанием и не поддерживает мультимодальный ввод. Квантованный вариант может снизить требования к памяти и повысить эффективность инференса, однако по доступным данным нельзя надёжно оценить влияние именно этой тестовой конфигурации на качество, скорость и совместимость. Для исходной Meta Llama 3 действует специальная коммерческая лицензия Meta Llama 3 Community License с ограничениями по распространению, допустимому использованию и политике безопасности; применимость этих условий к квантованному производному варианту следует проверять отдельно.

MaziyarPanahi/Ministral-3-14B-Reasoning-2512-GGUF — это набор файлов модели в формате GGUF для исходной модели Ministral-3-14B-Reasoning-2512, разработанной компанией Mistral AI. Квантизацию и публикацию этой версии выполнил MaziyarPanahi. Модель относится к классу генеративных текстовых моделей и предназначена для задач text-generation, включая локальный запуск через совместимые приложения и библиотеки. Формат GGUF ориентирован на эффективный запуск моделей, в том числе с использованием llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и других поддерживающих его инструментов. В репозитории представлены варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Заявленный размер исходной модели — 14B параметров. README не содержит сведений об архитектуре, поддерживаемых языках и модальностях, размере контекстного окна, результатах тестирования или конкретных ограничениях качества. Лицензия в предоставленных данных также не указана, поэтому условия использования необходимо уточнять в карточке исходной модели и репозитории. Для работы требуется совместимое программное обеспечение с поддержкой GGUF; конкретные требования к оборудованию зависят от выбранной разрядности и режима запуска.

TheBloke/Mistral-7B-Instruct-v0.2-AWQ — это 4-битная AWQ-квантизированная версия Mistral 7B Instruct v0.2, разработанной Mistral AI и подготовленной для публикации TheBloke. Модель предназначена для генерации текста и диалоговых сценариев с инструкциями, включая локальный запуск через text-generation-webui, vLLM, Transformers, TGI и AutoAWQ. Для работы используется шаблон запросов Mistral: <s>[INST] {prompt} [/INST]. Модель относится к семейству Mistral, содержит около 7 млрд параметров и поддерживает контекст длиной 4096 токенов. Указана только текстовая модальность; сведения о языках в README отсутствуют. AWQ-квантизация снижает требования к памяти и обеспечивает быстрый инференс на совместимых NVIDIA GPU, при этом заявляется сопоставимое или лучшее качество по сравнению с распространёнными настройками GPTQ. Размер опубликованной сборки составляет около 4,15 ГБ. Основные ограничения связаны с аппаратной и программной совместимостью: AWQ-версия рассчитана на Linux и Windows с NVIDIA GPU, а для macOS рекомендуется использовать формат GGUF. В README также указана лицензия Apache-2.0. Поддержка и качество конкретных задач зависят от исходной модели, настроек инференса и используемого программного окружения.

Mistral-7B-Instruct-v0.3-GGUF — набор квантизированных GGUF-версий модели Mistral-7B-Instruct-v0.3 от Mistral AI, подготовленный и опубликованный bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от IQ1 и IQ2 до Q8_0, различающиеся размером файла, требованиями к памяти и качеством генерации. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях на базе llama.cpp и совместимых инструментов. Модель подходит для диалоговых сценариев, ответов на запросы и других задач текстовой генерации. Для работы используется формат запроса <s>[INST] {prompt} [/INST]</s>; системные сообщения не поддерживаются. В README не указаны контекстное окно, поддерживаемые языки и точная архитектура базовой модели, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а низкие позволяют снизить потребление памяти, но сопровождаются заметным ухудшением качества. Распространение указано под лицензией Apache-2.0.

Mistral-7B-Instruct-v0.3-quantized.w4a16 — квантизированная версия языковой модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель предназначена для коммерческого и исследовательского использования в англоязычных сценариях, прежде всего для диалоговых ассистентов, генерации текста и выполнения инструкций. Она принимает текст и генерирует текст, поддерживает чатовый формат взаимодействия и рассчитана на работу через vLLM или Transformers. Модель использует архитектуру Mistral-v0.3 и содержит 7 миллиардов параметров; точная длина контекста в README не указана. Веса линейных слоёв внутри трансформерных блоков сжаты до INT4 с применением симметричной групповой квантизации и размером группы 128. Это уменьшает объём дискового хранения и требования к памяти GPU примерно на 25% по сравнению с представлением FP16. Квантизация выполнена с помощью AutoGPTQ. На OpenLLM benchmark версии 1 модель получила средний результат 65,08 против 66,42 у неквантизированной версии, что указывает на небольшое снижение качества при более экономичном размещении и запуске. Основные ограничения — ориентация на английский язык и отсутствие заявленной поддержки других языков; использование за пределами применимого законодательства не допускается. Лицензия Apache-2.0 разрешает коммерческое и исследовательское применение при соблюдении её условий. Дата выпуска — 11 июля 2024 года, версия 1.0.

Mistral Large 3 2512 — крупная языковая модель, разработанная компанией Mistral. Она использует разреженную архитектуру mixture-of-experts: 41 млрд активных параметров при 675 млрд параметров всего. Модель позиционируется как наиболее производительная модель Mistral на момент выпуска и предназначена для задач, требующих возможностей большой языковой модели. Предоставленные сведения не содержат данных о поддерживаемых языках, модальностях, длине контекста или конкретных сценариях применения. Модель выпущена под лицензией Apache 2.0, что допускает её использование на условиях этой лицензии. По имеющимся данным нельзя оценить фактическое качество на отдельных задачах, требования к аппаратному обеспечению и ограничения, связанные с безопасностью или областью применения.

Mistral-Large-Instruct-2407-GGUF — это набор квантизированных версий инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через совместимые приложения, например LM Studio. Рекомендуемый формат промптов: <s> [INST] запрос [/INST]. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 130,28 до 32,43 ГБ для перечисленных вариантов; более качественными считаются Q8_0, Q6_K, Q5_K_M и Q4_K_M, тогда как варианты с меньшей разрядностью экономят память за счёт снижения качества. Некоторые файлы оптимизированы для CPU и ARM, а часть вариантов поставляется с разделением на несколько файлов. Сильная сторона набора — возможность подобрать баланс между качеством, размером и требованиями к памяти для локального запуска. Ограничения включают значительные аппаратные требования даже у компактных вариантов, а также неизбежное ухудшение качества при агрессивной квантизации. В README не указаны архитектурные параметры, число параметров, размер контекста и мультимодальные возможности. Модель распространяется по лицензии MRL-0.1 от Mistral AI.

bartowski/Mistral-Large-Instruct-2411-GGUF — квантизированная версия инструкционной языковой модели Mistral Large, подготовленная bartowski. Модель предназначена для генерации текста и выполнения задач по текстовым инструкциям; формат GGUF ориентирован на использование в совместимых локальных инструментах инференса. README не содержит сведений о точном размере модели, варианте квантизации, архитектуре, длине контекста, поддерживаемых языках или дополнительных модальностях. К сильным сторонам относятся инструкционная настройка и возможность локального запуска в формате GGUF, однако количественные характеристики, требования к ресурсам, результаты тестирования и ограничения качества в предоставленных данных не указаны. Модель распространяется по Mistral AI Research License: использование, модификация и распространение разрешены на установленных лицензией условиях, но применение моделей, производных моделей и результатов ограничено исследовательскими целями. При распространении требуется сохранять текст лицензии и указанное уведомление об атрибуции.

Mistral-Small-Instruct-2409 — инструкционная плотная языковая модель на 22 млрд параметров, опубликованная Unsloth как дообученная версия Mistral-Small-Instruct-2409 от Mistral AI. Она предназначена для диалогов, следования инструкциям, генерации текста и вызова функций в приложениях на базе языковых моделей. Модель принимает текст и формирует текстовые ответы; поддерживает контекст до 131 072 токенов и интерфейс вызова функций. Для запуска README рекомендует vLLM и mistral-inference; для работы на одном GPU указано требование не менее 44 ГБ видеопамяти. В метаданных лицензия обозначена как other, поэтому перед использованием следует проверить условия на странице модели.

NeuralHermes-2.5-Mistral-7B-laser — экспериментальная версия разговорной модели NeuralHermes от mlabonne, основанная на teknium/OpenHermes-2.5-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она дообучена на парах предпочтений ChatML методом Direct Preference Optimization (DPO), а затем оптимизирована методом LASER на основе выборочного снижения ранга слоёв и теории случайных матриц. Модель предназначена для диалогов и выполнения инструкций, генерации текста, ответов на вопросы и помощи с кодом. В карточке приведены результаты нескольких тестовых наборов; они близки к показателям исходной NeuralHermes-2.5-Mistral-7B. Для запуска указаны LM Studio и другие пользовательские интерфейсы. Модель принимает текст и генерирует текст. Карточка указывает английский язык и лицензию Apache-2.0. Версия обозначена автором как экспериментальная, поэтому результаты оценки не гарантируют качество в конкретных сценариях; возможны обычные для языковых моделей ошибки и неточные ответы.

NVIDIA Nemotron-3-Nano-4B-GGUF — это квантизированная версия языковой модели NVIDIA Nemotron-3-Nano-4B, подготовленная bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Указан английский язык; поддержка других языков и мультимодальность не заявлены. Модель имеет около 4 миллиардов параметров в исходной версии и поставляется в вариантах от BF16 до Q2_K_L, включая Q4_K_M, Q5_K_M и Q6_K_L. Квантизация позволяет сократить требования к памяти и запускать модель на локальных устройствах, однако более компактные варианты могут заметно уступать по качеству исходным весам. В README не указаны архитектура, размер контекста, точные показатели производительности и системные требования. Приведён формат промпта с ролями system, user и assistant, а также началом блока рассуждений. При обучении исходной модели использовались наборы данных NVIDIA, охватывающие общие тексты, научные материалы, следование инструкциям, агентные сценарии, календарное планирование, структурированный вывод, математику и соревновательное программирование. Лицензия указана как NVIDIA Nemotron Open Model License; условия следует уточнять в официальном тексте лицензии NVIDIA. Модель подходит для локальной генерации текста, диалоговых приложений, задач следования инструкциям, программирования, математических и агентных сценариев, но конкретные возможности следует проверять для выбранной квантизации.

Thrillcrazyer/Phi4_LoopUS — разговорная языковая модель для генерации текста, построенная на базе Microsoft Phi-4 с применением посттренировочного фреймворка LoopUS. Разработка LoopUS описана исследователями BAELAB Пусанского национального университета и DOLAB Университета Чангвон; карточка модели указывает дообучение Phi-4 и формат safetensors. LoopUS преобразует предобученный трансформер в архитектуру с энкодером, рекурсивным блоком уточнения скрытых представлений и декодером. Модель предназначена для диалога и задач рассуждения; выборочное управление передачей скрытых состояний призвано снижать дрейф, а голова уверенности позволяет досрочно завершать вычисления. Базовая Phi-4 ориентирована прежде всего на английский язык и поддерживает генерацию текста, рассуждения, математику и программирование. Модель распространяется по лицензии Apache-2.0. Карточка не приводит отдельные измерения качества или подробные ограничения именно этой версии, поэтому её преимущества для конкретных задач следует оценивать по результатам тестирования.

bartowski/Qwen2.5-7B-Instruct-1M-GGUF — набор GGUF-квантизаций модели Qwen2.5-7B-Instruct-1M, подготовленный bartowski на основе модели Qwen. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях и запуск через llama.cpp или LM Studio. В README указана поддержка английского языка. Модель содержит около 7 миллиардов параметров и рассчитана на контекст до 1 миллиона токенов, что подходит для обработки очень длинных документов и многошаговых диалогов. Доступны варианты от F32 и F16 до различных типов квантизации Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы с imatrix-квантизацией. Размер файлов варьируется примерно от 3,5 до 30,5 ГБ; более компактные варианты снижают требования к памяти, но могут ухудшать качество ответов. Для работы следует использовать шаблон сообщений Qwen с ролями system, user и assistant. Наиболее качественными в README названы варианты Q6 и Q5, а Q4_K_M описан как типичный компромисс между размером и качеством. Модель распространяется по лицензии Apache-2.0; конкретные требования и ограничения исходной модели следует проверять в её лицензии.

MLX-версия инструкционной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen и конвертированной сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.3. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение пользовательских инструкций в приложениях на базе mlx-lm. Из README известно, что модель представлена в 4-битном формате квантования и распространяется как text-generation-модель. Архитектура, общее число параметров, число активных параметров, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Преимущество версии заключается в адаптации для экосистемы MLX; ограничением является отсутствие подробных сведений о характеристиках, качестве и производительности. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; приведённый пример ориентирован на запуск через Python и применение chat template токенизатора.

unsloth/Qwen3-4B-Base-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-4B-Base, подготовленная Unsloth на основе модели Qwen/Qwen3-4B-Base. Это каузальная языковая модель на стадии предварительного обучения, предназначенная для генерации и продолжения текста, а также общих задач обработки естественного языка, программирования, STEM и рассуждений. README не уточняет особенности именно 4-битной упаковки и сценарии её применения. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд приходятся на параметры без embedding, имеет 36 слоёв и использует Grouped-Query Attention с 32 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Семейство Qwen3 обучалось на 36 трлн токенов на 119 языках и включает данные для кодирования, STEM, рассуждений, книг, мультиязычных и синтетических задач, однако точные языковые возможности данной версии отдельно не приведены. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битному представлению, длинный контекст и универсальная базовая направленность. Ограничения состоят в том, что это именно базовая, а не инструкционно настроенная модель: README не заявляет о специальной диалоговой настройке, конкретных результатах бенчмарков или требованиях к оборудованию. Для работы рекомендуется актуальная версия библиотеки transformers; версии ниже 4.51.0 могут вызывать ошибку KeyError: 'qwen3'. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-GGUF — это квантизированная версия модели Qwen3.8-Flash-Next, разработанной командой Qwen и подготовленной пользователем bartowski в формате GGUF для запуска через llama.cpp. Модель предназначена для задач генерации и анализа текста, а также обработки изображений при использовании отдельного файла mmproj, что позволяет применять её в мультимодальных сценариях. Модель содержит 180 млрд параметров и поддерживает текстовый и графический ввод. Для неё доступны варианты от BF16 и Q8_0 до более компактных Q2–Q5 и IQ-квантизаций; размер файлов варьируется примерно от 88 до 354 ГБ. Квантизация выполнена с использованием imatrix, а speculative decoding не поддерживается. Рекомендуемый компромисс между качеством и требованиями к памяти — Q4_K_M размером около 119,6 ГБ; более высокие варианты сохраняют качество, но требуют значительно больше ресурсов. К сильным сторонам относятся большой масштаб модели, поддержка мультимодального ввода, широкий выбор уровней квантизации и совместимость с llama.cpp. Ограничениями являются очень высокие требования к оперативной или видеопамяти даже у компактных вариантов, возможное снижение качества при сильной квантизации и необходимость отдельного mmproj-файла для работы с изображениями. Указана лицензия qwen-community-1.0; дополнительные условия приведены в файле LICENSE.

bartowski/Qwen_Qwen3-8B-GGUF — набор GGUF-квантизированных версий модели Qwen3-8B, разработанной Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp; в README также указан формат промпта с разделителями сообщений ChatML. Доступны варианты от BF16 размером 16,39 ГБ до компактных IQ2_M и Q2_K размером около 3 ГБ, а также промежуточные уровни Q8, Q6, Q5, Q4 и Q3. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству; для большинства сценариев автор рекомендует Q4_K_M, а также некоторые варианты Q5 и Q6. Архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны, поэтому эти характеристики нельзя подтвердить. Модель распространяется по лицензии Apache-2.0.