II.3Рефакторинг, миграция и модернизация

RedHatAI/Qwen3.5-4B-quantized.w4a16 — квантизированная версия мультимодальной модели Qwen3.5-4B, разработанная RedHatAI на основе базовой модели Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст и предназначена для задач диалогового взаимодействия, следования инструкциям, рассуждений и анализа визуального содержимого. Модель использует архитектуру Qwen3.5-4B и оптимизирована для инференса через vLLM. Веса линейных операторов в трансформерных блоках сжаты до INT4, тогда как активации сохраняют исходную точность. Vision encoder, токеновые эмбеддинги и слои linear attention остаются в формате BF16. Размер модели на диске составляет около 5,2 ГБ против 8,8 ГБ у версии BF16, что снижает требования к памяти. В конфигурации vLLM заявлена поддержка контекста до 262 144 токенов; также доступен текстовый режим с отключением визуальной части. Языки модели в README не указаны. К сильным сторонам относятся существенное уменьшение размера и требований к памяти при сохранении близких к исходной модели результатов на ряде тестов, включая GSM8k-Platinum, MMLU-Pro, IFEval и Math 500. Ограничениями являются возможное снижение качества на отдельных задачах рассуждений, заметное на AIME 2025 и GPQA Diamond, а также зависимость от совместимого окружения vLLM и связанных инструментов. Модель распространяется по лицензии Apache-2.0.

Qwopus-GLM-18B-Merged-GGUF — экспериментальная модель, разработанная KyleHessling1 на основе двух дообученных моделей Jackrong: Qwopus3.5-9B-v3.5 и Qwen3.5-9B-GLM5.1-Distill-v1. Это 64-слойное объединение моделей Qwen3.5, дополнительно обработанное 1000-шаговым QLoRA-дообучением для устранения проблем на границе объединения слоёв. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, структурированного вывода, вызова инструментов и агентских сценариев. Модель содержит около 18 млрд параметров; доступная версия распространяется в формате GGUF с квантизацией Q4_K_M и размером около 9,2 ГБ. Заявлена поддержка английского, китайского, корейского, японского, французского, немецкого и испанского языков. По данным автора, модель показывает сильные результаты в рассуждениях, вызове инструментов, многошаговых агентских задачах и структурированном выводе, а также способна работать примерно на 12 ГБ видеопамяти, включая потребительские GPU. В тестовом наборе она набрала 40 из 44 заданий, однако программирование остаётся неидеальным: некоторые случаи форматирования и генерации кода всё ещё завершаются ошибками. Модель следует считать экспериментальной: несмотря на улучшение качества после QLoRA-дообучения, у неё могут сохраняться артефакты объединения и другие непредсказуемые особенности. Лицензия — Apache-2.0.

T-pro-it-2.1 — русскоязычная диалоговая модель семейства Qwen3, разработанная командой T-tech и дообученная на базе Qwen/Qwen3-32B. Это плотная языковая модель с 29,7 млрд параметров и контекстом до 40 960 токенов по метаданным; README отдельно указывает нативный контекст 32 768 токенов. Модель предназначена для диалога, следования сложным инструкциям, генерации текстов в несколько шагов и сценариев с вызовом инструментов. По заявлению разработчиков, она улучшена относительно T-pro-it-2.0 в следовании инструкциям и вызове инструментов; обучение включало инструкционный midtraining, SFT и оптимизацию GRPO с последующим слиянием экспертов методом SLERP. Модель принимает текст и генерирует текст, поддерживает русский язык, а также показывает результаты на англоязычных наборах оценки. README указывает режим без рассуждений (non-thinking). Для использования доступны веса в формате Safetensors и библиотека Transformers; лицензия — Apache-2.0. Разработчики предупреждают, что внедряющие модель самостоятельно отвечают за дополнительное обучение, надзор и приемлемость ответов. Приведённые в карточке бенчмарки являются результатами разработчиков и не гарантируют качество в конкретной прикладной системе.

WizardLM-2-7B-GGUF — это квантизированная в формате GGUF версия языковой модели WizardLM-2-7B, разработанной Microsoft. Квантизацию выполнил bartowski на базе llama.cpp. Модель основана на Mistral, содержит около 7 миллиардов параметров и предназначена для генерации текста и диалогового взаимодействия. Модель ориентирована на многошаговые беседы, общие вопросы и работу с общеизвестными знаниями. README также указывает на улучшенную поддержку сложных диалогов, многоязычных сценариев, рассуждений и агентских задач; модель может применяться для программирования и технических обсуждений. Она обучалась с использованием Progress Learning, AI Align AI, Supervised Learning, Stage-DPO, Evol-Instruct и методов обучения с подкреплением, ориентированных на качество инструкций и корректность ответов. Модель позиционируется как эффективная для своего размера и показывает высокие результаты в автоматической оценке MT-Bench, однако, как и другие языковые модели, может генерировать неточные, вредные или неподходящие ответы. В README не указаны точный набор поддерживаемых языков, размер контекстного окна и конкретные характеристики квантизации. Лицензия — Apache-2.0. Для использования рекомендован шаблон prompt в стиле Vicuna.

cyankiwi/diffusiongemma-26B-A4B-it-AWQ-INT4 — квантованная версия DiffusionGemma на базе google/diffusiongemma-26B-A4B-it, разработанной Google DeepMind. Это мультимодальная модель с открытыми весами, которая принимает текст, изображения и видео, а генерирует текст. Представленная версия использует квантование AWQ INT4 и занимает около 17,23 ГБ. Модель предназначена для генерации текста, рассуждений, диалоговых сценариев, обработки мультимодальных запросов и задач, связанных с STEM и агентными системами. Она применяет дискретную диффузию: вместо последовательной генерации токенов модель итеративно восстанавливает блоки токенов, что может повышать скорость вывода. Архитектура включает encoder-decoder с двунаправленным вниманием в декодере и разреженную Mixture-of-Experts-конфигурацию: 25,2 млрд параметров всего, 3,8 млрд активных параметров, 30 слоёв и 8 активных экспертов из 128. Заявлены контекст до 256 тысяч токенов, окно скользящего внимания 1024 токена и длина генерируемого блока 256 токенов. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Модель оптимизирована для инференса с небольшим размером пакета и низкой задержкой, преимущественно на одном производительном ускорителе; режим рассуждений и системные промпты поддерживаются. Ограничение развертывания — отсутствие поддержки внутримодельного тензорного и конвейерного распараллеливания; для нескольких GPU рекомендуется репликация через data parallelism. Лицензия — Apache 2.0.

EXAONE-3.5-7.8B-Instruct-GGUF — двуязычная инструкционная языковая модель, разработанная LG AI Research. Она предназначена для генерации текста, диалоговых приложений, ассистентов и других практических сценариев обработки естественного языка на английском и корейском языках. Модель доступна в формате GGUF, рассчитанном на локальный запуск и инференс с использованием llama.cpp, TensorRT-LLM, vLLM, SGLang или Ollama. Модель содержит 7,8 млрд параметров, из которых 6,98 млрд приходятся на параметры без embeddings, имеет 32 слоя и архитектуру GQA с 32 головами запросов и 8 головами ключей и значений. Размер словаря составляет 102 400 токенов, а максимальная длина контекста — 32 768 токенов. Доступны варианты BF16 и квантизации Q8_0, Q6_0, Q5_K_M, Q4_K_M и IQ4_XS, что позволяет выбирать между качеством, скоростью и требованиями к памяти. К сильным сторонам относятся поддержка длинного контекста, двуязычность и ориентация на реальные прикладные задачи при относительно компактном размере. Ограничения включают возможную генерацию вредного, предвзятого, фактически неверного или синтаксически некорректного текста; модель также не гарантирует актуальность знаний. Для работы рекомендуется использовать системные промпты, предусмотренные разработчиком. Модель распространяется по лицензии EXAONE AI Model License Agreement 1.1 - NC; условия лицензии и ограничения на использование следует уточнять в файле LICENSE.

Falcon-H1-1.5B-Instruct — многоязычная авторегрессионная языковая модель семейства Falcon-H1, разработанная командой TII. Это дообученная для следования инструкциям версия Falcon-H1-1.5B-Base с гибридной архитектурой, сочетающей Transformer-внимание и блоки SSM/Mamba. Модель содержит 1,1 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям: она подходит для ответов на вопросы, рассуждений, математических задач, программирования и работы с научными знаниями. В карточке заявлена поддержка 18 языков, включая арабский, английский, хинди, японский, китайский и русский. Для запуска указаны Transformers, vLLM и llama.cpp; метаданные репозитория отмечают формат safetensors. В README указана лицензия Falcon-LLM License, тогда как метаданные Hugging Face обозначают лицензию как other. Перед использованием следует проверить условия лицензии в репозитории. Как компактная модель на 1,1 млрд параметров, она может уступать более крупным моделям на сложных задачах; заявленные в карточке результаты бенчмарков не гарантируют качество на конкретных данных.

Fx-Work — мультимодальная языковая модель класса 35B для профессиональных задач в средах с файлами и инструментами. Она разработана командой Endless Frontier на базе Qwen3.6-35B-A3B и дообучена на 20 тысячах траекторий взаимодействия с инструментами. Модель интерпретирует рабочие материалы разных типов, учитывает операционные ограничения, при необходимости формирует вызовы инструментов и создаёт результаты по заданным требованиям. Модель рассчитана на агентные рабочие сценарии: анализ документов и других материалов, выполнение последовательных задач и подготовку профессиональных результатов. Поддерживает изображения и видео вместе с текстом; карточка указывает английский язык. В README для запуска приведён контекст до 262 144 токенов. Заявленные результаты сравнительных оценок относятся к конкретным бенчмаркам и не гарантируют такого же качества в других задачах. Для работы с инструментами требуется окружающая агентная инфраструктура; сервер модели выдаёт текст и, при настройке, ответы с вызовами инструментов. Модель распространяется по лицензии Apache-2.0.

Granite-3.1-8B-Base — базовая языковая модель IBM Granite Team для генерации текста и последующей адаптации под прикладные сценарии. Это плотный decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель содержит 8,2 млрд параметров и поддерживает контекст до 131 072 токенов. Контекст расширен с 4K у Granite-3.0-8B-Base посредством поэтапного обучения на длинных последовательностях примерно на 500 млрд токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы и других задач генерации текста, в том числе по длинному контексту. Она обучалась на данных из веба, кода, академических источников, книг и математики, а также на многоязычных, инструкционных и синтетических длинноконтекстных данных. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель не проходила safety alignment и может выдавать предвзятые или недостоверные ответы, а также воспроизводить фрагменты обучающих данных. Лицензия Apache 2.0.

pszemraj/granite-4.0-h-7b-heretic — производная диалоговая модель на основе IBM Granite 4.0 H Tiny. В метаданных указаны архитектура GraniteMoeHybridForCausalLM (гибридная MoE), 500,2 млн параметров, контекст до 131 072 токенов и формат Safetensors; README описывает абляцию, направленную на снижение отказов отвечать. По приведённому сравнению доля отказов составляет 6 из 100 против 98 из 100 у базовой модели, а KL-дивергенция — 0,03. Модель предназначена для генерации диалоговых ответов и может использоваться для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и многоязычного общения. Наследует возможности Granite по следованию инструкциям и вызову инструментов, однако результаты приведены для ограниченного набора проб и сами по себе не подтверждают качество на других задачах. В карточке указаны английский как язык модели; README базовой модели перечисляет также немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский, но не устанавливает их поддержку именно этой производной модели. Лицензия — Apache 2.0. Как и базовая модель, она может выдавать неточные, предвзятые или небезопасные ответы; снижение числа отказов требует тщательной проверки применения.

harkov000/hermes-dolphin-8B-v0.2 — объединённая языковая модель на архитектуре Llama, созданная с помощью mergekit методом SLERP из cognitivecomputations/dolphin-2.9.4-llama3.1-8b и NousResearch/Hermes-3-Llama-3.1-8B. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; метаданные также отмечают интерфейс вызова инструментов. Она принимает текст и генерирует текст. В карточке указана лицензия? Нет сведений о лицензии, поэтому условия использования определить нельзя.

Карточка модели kakaocorp/kanana-2-30b-a3b-mid-2601 на Hugging Face совпадает с карточкой kakaocorp/kanana-2-30b-a3b-instruct-2601, поэтому описание составлено по ней. Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

Saxo, специалист по данным компании Linkbricks, дообучил эту плотную 70-миллиардную языковую модель семейства Llama на базе Saxo/Linkbricks-Horizon-AI-Japanese-Superb-V2-70B с помощью SFT и DPO. Модель ориентирована прежде всего на японский язык и обучалась на японских новостях и корпусе Википедии, а также на многоязычных данных для японского, корейского, китайского и английского языков. Модель предназначена для генерации текста, письма, программирования, математических и логических задач, анализа отзывов клиентов и публикаций в социальных сетях, а также вызова функций и инструментов. Она поддерживает контекст до 128 тысяч токенов. В метаданных указаны Transformers, формат safetensors и лицензия Apache-2.0. README сообщает об усилении японских возможностей и о поддержке function calling, однако результат зависит от задачи и качества запроса. Обучающие данные и заявленные возможности не гарантируют точность ответов; для критически важных решений результаты следует проверять.

Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

NVIDIA-Nemotron-Nano-9B-v2-Japanese — разработанная NVIDIA Japan японская версия языковой модели NVIDIA Nemotron Nano, дообученная на японских данных для чата и задач с рассуждением. Модель предназначена для диалоговых приложений, следования инструкциям, AI-агентов и RAG-систем; поддерживает вызов инструментов и программирование. В основе — гибридная архитектура Nemotron-H с преимущественно слоями Mamba-2 и MLP и четырьмя слоями Attention. Модель принимает и генерирует текст, поддерживает японский и английский языки и контекст до 131 072 токенов. Может сначала выдавать трассу рассуждений, а затем ответ; режим рассуждений и бюджет токенов на него настраиваются при инференсе. Карточка указывает 9 млрд параметров, тогда как метаданные каталога — 15,1 млрд. Модель оптимизирована для систем с GPU NVIDIA; качество зависит от задачи, а результаты Nejumi Leaderboard 4 измерены на японских подмножествах и не сопоставимы напрямую с исходными бенчмарками. Коммерческое использование разрешено; в метаданных лицензия обозначена как other.

Etherll/Qwen2.5-7B-della-test — объединённая языковая модель на архитектуре Qwen2 для генерации текста и диалогов. Она создана с помощью mergekit методом della на основе Qwen/Qwen2.5-7B с включением Qwen/Qwen2.5-7B-Instruct; в репозитории указаны веса safetensors в формате bfloat16 и около 7,1 млрд параметров. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов, а метаданные отмечают интерфейс вызова инструментов. Модель подходит для диалоговых приложений, генерации и продолжения текста, а также структурированных ответов и вызова инструментов. В README приведены результаты оценок Open LLM Leaderboard, включая IFEval и BBH. Данные не подтверждают отдельную специализацию по предметной области или конкретный набор языков. Лицензия в предоставленных сведениях не указана.

AIArchiveInfo/Qwen3-0.6B — побитовая архивная копия Qwen3-0.6B от команды Qwen, без изменения весов; репозиторий указывает базовую модель Qwen/Qwen3-0.6B-Base. Это плотная причинная языковая модель на 507,9 млн параметров с 28 слоями, предназначенная для генерации текста и диалогов. Модель работает с текстом, поддерживает переключение между режимами рассуждения и обычного диалога, а также интерфейс вызова инструментов. Метаданные указывают контекст до 40 960 токенов; в README приведено значение 32 768 токенов. Заявлена поддержка более 100 языков и диалектов, включая многоязычные инструкции и перевод. Модель подходит для ответов на вопросы, следования инструкциям, диалогов, генерации кода, математических и логических задач, творческого письма и сценариев с внешними инструментами. Это компактная модель, которую можно использовать для локальных экспериментов и приложений с ограниченными ресурсами; качество на сложных задачах может уступать более крупным моделям. README отмечает риск повторов при некоторых настройках генерации. Лицензия — Apache-2.0.

Карточка модели helmo/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

QuantFactory/Qwen3-0.6B-GGUF — квантизированная версия языковой модели Qwen3-0.6B, созданная QuantFactory на основе базовой модели Qwen/Qwen3-0.6B с использованием llama.cpp. Это каузальная языковая модель для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческих сценариев и интеграции с внешними инструментами. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к embedding, и включает 28 слоёв. Используется Grouped Query Attention: 16 голов для запросов и 8 для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Модель поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Она умеет переключаться между режимами thinking для сложных рассуждений, математики и программирования и non-thinking для более быстрого универсального диалога. К сильным сторонам относятся малый размер, поддержка квантизированного формата GGUF, многоязычность, рассуждения, диалоговые и агентские сценарии. Ограничения включают меньшую ёмкость по сравнению с более крупными моделями и возможные повторения при неудачных параметрах генерации; в исходной документации для таких случаев рекомендуется настроить sampling и presence_penalty. Данные о конкретном варианте квантизации, требованиях к памяти и производительности не указаны. Модель распространяется по лицензии Apache-2.0.

coder3101/Qwen3.5-35B-A3B-heretic — мультимодальная разговорная модель на основе Qwen3.5-35B-A3B, изменённая автором репозитория методом abliteration для заметного снижения частоты отказов. Это модель с причинным языковым ядром и кодировщиком изображений; архитектура использует разреженную смесь экспертов и Gated Delta Networks: всего 35 млрд параметров, из которых активируются около 3 млрд. Веса доступны в формате Safetensors и совместимы с Transformers и рядом движков инференса. Модель предназначена для диалогов, ответов на вопросы по изображениям, рассуждений и сценариев с вызовом инструментов. Она унаследовала от базовой модели контекст 262 144 токена с возможностью расширения примерно до 1 010 000 токенов. Карточка сообщает о поддержке 201 языка и диалекта базовой моделью, но не уточняет языковой охват именно этой производной версии. В приведённом сравнении частота отказов составила 5 из 100 запросов против 91 из 100 у исходной модели; KL-дивергенция относительно неё указана как 0,0972. Это указывает на ослабление отказного поведения, но не подтверждает качество ответов по другим задачам. Лицензия — Apache-2.0. Пониженная частота отказов означает, что модель может слабее ограничивать ответы на потенциально вредные запросы.

Qwen3.5-35B-A3B-uncensored-heretic — мультимодальная диалоговая модель llmfan46 на базе Qwen3.5-35B-A3B. Автор сообщает, что применил abliteration для снижения отказов: в приведённом тесте модель отказала в 11 случаях из 100 против 92 у исходной модели. Это не означает, что модель гарантированно отвечает на любые запросы или сохраняет исходное качество во всех задачах. Модель принимает текст и изображения и генерирует текст; поддерживает диалог, визуальный анализ и агентные сценарии с вызовом инструментов. Архитектура сочетает разреженную Mixture of Experts и Gated Delta Networks: 35 млрд параметров всего, около 3 млрд активных; заявленный контекст — 262 144 токена с возможностью расширения до 1 010 000. README указывает широкую языковую поддержку семейства Qwen3.5, но конкретные языки этой сборки не перечисляет. Модель распространяется в формате safetensors для Transformers; README также ссылается на отдельную GGUF-сборку. Лицензия — Apache-2.0. Указанный автором тест KL-дивергенции и сравнение отказов не заменяют независимую оценку качества; снижение отказов может сопровождаться ослаблением защитных ограничений.

Avesed/Qwen3.8-27B-INT8-W8A8 — квантизированная версия Qwen/Qwen3.8-27B, разработанная Avesed. Это плотная гибридная vision-language-модель с линейным механизмом внимания GatedDeltaNet, периодическими слоями полного внимания, встроенной vision-башней и MTP-головой для speculative decoding. Модель поддерживает английский и китайский языки, а также обработку изображений и текста; точный размер контекста в README не указан. Модель предназначена для генерации и анализа текста, рассуждений, решения математических задач, перевода, двуязычных сценариев и задач с изображениями. Квантизация INT8 применяется к весам и активациям по схеме W8A8: используются симметричные INT8-веса и динамические INT8-активации, тогда как наиболее чувствительные к качеству компоненты, включая embeddings, lm_head, vision tower и MTP head, сохранены в bf16. Объём модели составляет около 30 ГБ; для запуска рекомендуется две видеокарты по 24 ГБ с tensor parallelism. Сильная сторона сборки — высокая скорость prefill: на двух RTX 3090 зафиксировано около 4408 токенов/с против 2276 токенов/с у INT4-сборки, при этом доступно speculative decoding через MTP. Скорость decode ниже, около 73 токенов/с, поскольку INT8 требует больше пропускной способности памяти. На GSM8K модель показала 96,8% на выборке из 250 задач; также проверены англо-китайская генерация и перевод, работа vision-пути и reasoning-параметров. MMLU-Pro не тестировалась. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска через vLLM.

Qwen3-R1-SLERP-Q3T-8B — плотная языковая модель на архитектуре Qwen3, созданная автором lemon07r слиянием методом SLERP двух моделей: deepseek-ai/DeepSeek-R1-0528-Qwen3-8B и Qwen/Qwen3-8B. Веса содержат около 7,6 млрд параметров; модель использует токенизатор Qwen и принимает текст для генерации текста в диалоговом режиме. Родительские модели объединены в пропорции 50/50. Модель предназначена для диалогов, написания текстов и решения задач на рассуждение; в README автор приводит сравнительные тесты на задачах LocalAIME и отмечает хорошие результаты слияния. Метаданные также указывают интерфейс для вызова инструментов. Контекст составляет 40 960 токенов. Репозиторий содержит веса Safetensors; README отдельно упоминает статические GGUF-квантизации Q4_K_S и Q8_0. Лицензия в предоставленных данных не указана.

Карточка модели yimdev/Qwen3-test на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Rewnozom-GGUF — это конверсия модели Rewnozom/Rewnozom в формат GGUF, разработанная авторами Rewnozom на основе Qwen/Qwen2.5-7B-Instruct-1M. Модель предназначена для локального запуска через llama.cpp, Ollama, LM Studio, Jan и другие совместимые загрузчики. Указан английский язык, а исходная модель относится к семейству 7B instruct-моделей с контекстом до 1 млн токенов. Модель ориентирована на генерацию текста, рассуждения и задачи, связанные с логикой, декомпозицией запросов, планированием и исправлением планов, маршрутизацией инструментов, управлением состоянием и памятью, retrieval, разрешениями и многоагентной оркестрацией. В README также упоминается обучение на синтетических данных с детерминированными формальными мирами, проверками оракула и машинно проверяемыми ответами. Доступны варианты от F32, F16 и BF16 до низкобитных квантований, включая K-quants, legacy-quants, T-quants и гибридные профили. Сильными сторонами являются широкий выбор размеров файлов и компромиссов между качеством, скоростью и потреблением памяти, а также возможность локального использования. Качество и производительность зависят от выбранного квантования, длины контекста, аппаратного ускорения и характера задач; низкобитные варианты могут заметно менять поведение модели. Контроль разрешений, деструктивных действий и изменения состояния рекомендуется оставлять за детерминированной логикой приложения. Распространение заявлено по лицензии Apache 2.0.

SuperQwen3.8-27b-abliterated-GGUF — это квантованные версии мультимодальной модели SuperQwen3.8-27b-abliterated, разработанной Jiunsong и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации текста по текстовым и визуальным входным данным, рассуждений, вызова инструментов и работы с длинным контекстом. Заявлена поддержка английского и корейского языков, а также контекста до 262 тысяч токенов. Модель имеет размер 27 млрд параметров; архитектура в README подробно не описана. Для обработки изображений требуется дополнительный мультимодальный компонент mmproj. Доступны варианты квантования от Q2_K до Q8_0 и IQ4_XS с размером файлов примерно от 11 до 29,1 ГБ, а также версии с плавающей точностью F16. Более лёгкие варианты экономят память, но могут снижать качество; Q6_K отмечен как вариант очень хорошего качества, а Q4_K_S и Q4_K_M — как быстрые рекомендуемые варианты. К сильным сторонам относятся мультимодальность, поддержка длинного контекста, рассуждений и вызова инструментов, а также широкий выбор уровней квантования для локального запуска. Ограничения включают зависимость визуальных сценариев от отдельного mmproj-компонента и возможное ухудшение качества при агрессивном квантовании. Модель распространяется по лицензии Apache-2.0.

DeepSeek-R1-Distill-Qwen-32B-GGUF — это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Qwen-32B, разработанной deepseek-ai. Квантизация выполнена bartowski на основе llama.cpp версии b4514 и предназначена для запуска через совместимые инструменты, включая LM Studio. Модель создана для генерации текста, прежде всего для задач, требующих рассуждений: решения сложных вопросов, анализа и пошагового построения ответа. Она дистиллирована из reasoning-модели DeepSeek-R1 и специально настроена на reasoning и chain-of-thought. Заявлена поддержка контекста длиной до 128k токенов. В README не указаны точные параметры архитектуры, языки, набор поддерживаемых модальностей и размер конкретных GGUF-файлов, поэтому модель следует считать текстовой. Сильные стороны модели — ориентация на рассуждения, большой контекст и возможность локального запуска в формате GGUF. Ограничения включают потенциально неточные, вредные или неподходящие ответы, характерные для генеративных моделей; README также не содержит сведений о результатах бенчмарков. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять по исходной модели и репозиторию квантизации.

DeepSeek-V2-Lite-Chat — диалоговая языковая модель DeepSeek AI, дообученная методом SFT на основе семейства DeepSeek-V2-Lite. В карточке описана архитектура MoE с Multi-head Latent Attention (MLA): около 16 млрд параметров всего, из которых для каждого токена активируется 2,4 млрд; модель имеет 27 слоёв. Она предназначена для генерации текста в диалоге, продолжения текста и ответов на запросы. README приводит результаты на английских и китайских бенчмарках и указывает длину контекста 32 тыс. токенов; метаданные каталога указывают 163 840 токенов. Эти значения расходятся, поэтому фактическое доступное окно следует сверять с конфигурацией используемого чекпойнта и программной среды. MLA сжимает KV-кэш для более экономичного инференса, а разреженные MoE-слои активируют часть экспертов на каждом токене. README сообщает, что для инференса в BF16 требуется GPU с 40 ГБ памяти; также описаны запуск через Transformers и оптимизированный вариант с vLLM. В метаданных указан формат safetensors. Модель рассчитана на текстовый ввод и текстовый вывод; результаты бенчмарков охватывают английский и китайский, но это не задаёт полный перечень поддерживаемых языков. В метаданных лицензия обозначена как other, без конкретных условий в предоставленных данных. Перед использованием следует проверить лицензионные условия на странице репозитория.

TechxGenus/DeepSeek-V2-Lite-Chat-AWQ — AWQ-квантованная версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek AI. Это языковая модель, дообученная для взаимодействия в формате чата и предназначенная для генерации текста, ответов на вопросы и других сценариев использования разговорных LLM. Модель построена по архитектуре Mixture-of-Experts (MoE) с Multi-head Latent Attention (MLA): всего она содержит 16 млрд параметров, из которых при обработке активируется 2,4 млрд. MLA сжимает KV-кэш в латентное представление, а разреженные вычисления MoE повышают эффективность обучения и инференса. Контекстное окно составляет 32 тысячи токенов. В README заявлена поддержка сценариев на английском и китайском языках; модель обучалась с нуля на 5,7 трлн токенов. К сильным сторонам относятся сравнительно небольшое число активных параметров, эффективность инференса и возможность развертывания на одной GPU с 40 ГБ памяти. Квантованный формат AWQ ориентирован на более экономичное локальное развертывание, однако README не приводит подробностей о влиянии квантования на качество, аппаратных требованиях конкретного запуска или результатах именно этой квантованной сборки. Модель распространяется по лицензии DeepSeek Model Agreement; код проекта отдельно отмечен как распространяемый по MIT, но это не заменяет условия лицензии самой модели.

Firefly-LLaMA2-Chinese 13B Chat — китайско-английская разговорная модель семейства LLaMA 2, разработанная командой Firefly. Авторы расширили китайский словарь токенизатора LLaMA 2, провели дополнительное предобучение на китайских и английских текстах, а затем дообучили модель на многоходовых инструкциях. Репозиторий содержит веса PyTorch; модель имеет 13 млрд параметров и контекст 4096 токенов. Модель предназначена для диалогов и выполнения текстовых инструкций на китайском и английском языках: она может отвечать на вопросы, создавать и переписывать тексты, суммировать, переводить, извлекать информацию, решать задачи по чтению и генерировать код. Расширенный китайский словарь сокращает число токенов для китайского текста примерно на 54% по сравнению с исходным LLaMA 2, что повышает эффективность его обработки. Авторы сообщают об оценках на китайских и английских тестах и ручном сравнении, но отмечают, что дополнительное предобучение использовало около 2 млрд токенов и было ограничено по объёму и распределению данных; это сказывается, в частности, на результатах CMMLU. Лицензия в предоставленных данных не указана.