II.3Рефакторинг, миграция и модернизация

RedHatAI/Qwen3-32B-FP8-dynamic — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen/Qwen3-32B. Она предназначена для рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под специализированные предметные области посредством дообучения. Модель работает с текстом на входе и выходе и построена на архитектуре Qwen3ForCausalLM. Модель использует FP8-квантизацию весов и активаций линейных операторов внутри transformer-блоков. Веса квантизуются статически по каналам, активации — динамически по токенам; слой lm_head не квантуется. По заявлению разработчиков, это примерно вдвое снижает требования к памяти GPU и размер на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений по сравнению с представлением FP16. Модель рассчитана на эффективное развертывание с vLLM, включая OpenAI-совместимую подачу. К сильным сторонам относятся сочетание возможностей базовой Qwen3-32B с уменьшенными требованиями к памяти и поддержка рассуждений, многоязычных инструкций и function calling. При этом FP8-квантизация может влиять на точность по сравнению с исходной моделью, а README не содержит подробностей о поддерживаемых языках, длине контекста и количественных результатах оценки. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

mattbucci/Qwen3.8-27B-AWQ — квантованная версия модели Qwen3.8-27B, разработанной Qwen и опубликованной mattbucci. Модель предназначена для задач генерации текста, рассуждений, вызова инструментов, анализа изображений и понимания видео, прежде всего в сценариях серверного инференса через SGLang. Она рассчитана на однопользовательскую работу с длинным контекстом до 262 144 токенов при конфигурации с двумя видеокартами RTX 3090. Модель использует 4-битное квантование AWQ/GPTQ в формате W4A16 с размером группы 128 и симметричными весами INT4. Веса занимают около 18,7 ГБ; архитектура включает 64 слоя, из которых 48 используют Gated DeltaNet, а 16 — полное внимание. Башня обработки изображений, lm_head и отдельные параметры Gated DeltaNet сохранены в BF16. Проверены текстовые, математические, программные, визуальные и видео-сценарии; в указанных тестах модель показала высокие результаты на MMLU и HumanEval, а также успешно работала с контекстом свыше 250 тысяч токенов. Сильные стороны модели — поддержка нескольких модальностей, длинного контекста, рассуждений и инструментов при существенно меньшем объёме памяти по сравнению с полноразмерной моделью. Ограничения включают отсутствие MTP и недоступность MTP-ускоренного speculative decoding, снижение доступного контекста при параллельной обработке нескольких запросов, а также относительно низкий результат LAB-Bench, поэтому модель следует отдельно проверять для научных задач и специализированного протокольного QA. Квантование и валидация выполнялись на архитектуре Ampere с AWQ_Marlin; другие GPU не тестировались разработчиком. Лицензия — Apache-2.0, унаследованная от базовой модели.

HivenetQuant/Qwen3.8-27B-NVFP4 — квантованная версия мультимодальной модели Qwen/Qwen3.8-27B, опубликованная HivenetQuant. Модель предназначена для работы с текстом и изображениями, включая визуальное понимание, генерацию текста и кода, рассуждения, tool calling и ускоренное авторегрессионное декодирование с помощью MTP speculative decoding. В основе используется модель размером 27B параметров. Квантование выполнено по схеме NVFP4 W4A4: веса и активации основного квантованного слоя представлены в FP4 с блочными масштабами FP8 и group size 16. Чувствительные attention- и recurrent-слои DeltaNet сохранены в FP8, а vision encoder, MTP head, lm_head, нормы и router layers — в BF16. Контекст до 262 144 токенов проверен в конфигурации с vLLM и FP8 KV cache. Модель ориентирована на GPU NVIDIA Blackwell с нативной поддержкой FP4, например RTX 5090. Сильными сторонами являются заметное ускорение по сравнению с FP16, сохранение мультимодальных возможностей и MTP, а также близкие к FP16 результаты на проверенных задачах. В опубликованном сравнении разница обычно составляла менее двух процентных пунктов, однако это оценка деградации на репрезентативных выборках, а не полное измерение абсолютных возможностей базовой модели. Ограничения включают зависимость от совместимого оборудования и настроек vLLM, а также возможное снижение качества из-за квантования, особенно на отдельных задачах. Модель распространяется по лицензии Apache-2.0.

Карточка модели Mahesh111000/qwen3-8b-hanabi-init30turns-thinking-step_220 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Карточка модели Mahesh111000/qwen3-8b-hanabi-rl-base-1to1-24k-step_220 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Карточка модели ServiceNow-AI/Apriel-5B-Base на Hugging Face совпадает с карточкой ServiceNow-AI/Apriel-5B-Instruct, поэтому описание составлено по ней. Apriel-5B-Instruct — языковая модель общего назначения от ServiceNow AI, дообученная на Apriel-5B-Base с помощью продолженного предобучения, supervised fine-tuning и этапов выравнивания DPO и RLVR. Это плотный авторегрессионный Transformer-декодер с grouped-query attention и позиционными эмбеддингами YARN; в репозитории указаны 4,6 млрд параметров и контекст до 16 384 токенов. Веса опубликованы в формате safetensors и доступны по лицензии MIT. Модель предназначена для диалога и следования инструкциям, ответов на вопросы, генерации и краткого изложения текста, помощи с кодом, логических рассуждений и творческого письма. Она поддерживает структурированные диалоги и сценарии вызова инструментов. Основной язык — английский; качество на менее представленных языках может быть ниже. Модель может выдавать фактически неверные, вводящие в заблуждение или устаревшие ответы и отражать смещения обучающих данных. Её не следует применять в критически важных сценариях без проверки человеком и дополнительных мер защиты; для медицинских, юридических и финансовых решений она не подходит без специальных safeguards.

Карточка модели Iambackup/gemma-4-26B-A4B на Hugging Face совпадает с карточкой vmo247/vmo-gemma-4-26b-a4b-ft, поэтому описание составлено по ней. vmo247/vmo-gemma-4-26b-a4b-ft — мультимодальная модель, дообученная на базе Google Gemma 4 26B A4B. Она построена на архитектуре Gemma 4 для генерации текста по текстовым и графическим запросам и поддерживает диалоговый режим и анализ изображений. Вариант 26B A4B относится к MoE-моделям семейства; для Gemma 4 этого размера заявлено контекстное окно до 256K токенов и поддержка более 140 языков на уровне семейства. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа графиков и интерфейсов, а также для диалогов, рассуждений, написания и исправления кода. В карточке этой производной модели не приведены отдельные результаты оценки качества; возможности видео и аудио, упомянутые для семейства Gemma 4, не подтверждены для данного 26B-варианта. Распространяется по лицензии Apache 2.0.

unsloth/gemma-4-26B-A4B-it-NVFP4 — инструкционная мультимодальная модель семейства Gemma 4, подготовленная Unsloth на базе google/gemma-4-26B-A4B-it и разработанная Google DeepMind. Это квантованный вариант в формате NVFP4, предназначенный для эффективного запуска, в частности через vLLM на совместимом оборудовании NVIDIA. Модель принимает текст и изображения и генерирует текст. Вариант 26B A4B относится к архитектурам Mixture-of-Experts (MoE): семейство Gemma 4 позиционирует такие модели для генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев. Поддерживаются настраиваемые режимы рассуждения, нативный system prompt, вызов функций и длинный контекст; для средних моделей Gemma 4 заявлено до 256K токенов. Семейство также поддерживает более 140 языков. К сильным сторонам относятся сочетание мультимодального понимания, возможностей рассуждения и кодирования, поддержка длинного контекста и более эффективное выполнение благодаря MoE-архитектуре и NVFP4-квантизации. Ограничения включают зависимость производительности и совместимости от поддерживаемых NVFP4-ядер и аппаратного обеспечения; точные требования к памяти, показатели качества и языковые характеристики именно этого квантованного варианта в README не указаны. Модель распространяется по лицензии Apache 2.0.

cyankiwi/GLM-5.3-Flash-AWQ-INT4 — квантизированный чекпойнт модели GLM-5.3-Flash, разработанной Z.ai и опубликованный пользователем cyankiwi. Модель является нативно мультимодальной и предназначена для обработки текста и изображений, включая диалоговые сценарии, программирование, агентные задачи и работу с длинным контекстом. В карточке указаны английский и китайский языки, а README дополнительно заявляет поддержку хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. GLM-5.3-Flash использует гибридную архитектуру с разреженным и линейным вниманием, а также Manifold-Constrained Hyper-Connections. Общий объём модели составляет 320 млрд параметров, из которых активно используется около 18 млрд; точный максимальный размер контекста в карточке не указан, но модель оптимизирована для длинных контекстов. Данный вариант сочетает схемы compressed-tensors INT4, FP8-block и BF16 в разных модулях, его размер — около 197,19 ГБ. Сильными сторонами модели являются мультимодальность, эффективность инференса, поддержка многоязычных сценариев, программирования и агентных рабочих процессов, а также возможность управления интенсивностью рассуждений через параметр reasoning_effort. Ограничением является необходимость специальной версии форка vLLM для загрузки этого чекпойнта; стандартный vLLM его не поддерживает. Лицензия — MIT.

GPT-3.5 Turbo — модель OpenAI для генерации текста, оптимизированная для диалогов и задач продолжения текста. Она понимает и генерирует естественный язык и код. В карточке указано, что обучающие данные охватывают период до сентября 2021 года. Модель подходит для чат-ботов, ответов на вопросы, написания и преобразования текста, а также помощи с кодом. Сведения о размере, архитектуре, длине контекста и лицензии в предоставленных источниках отсутствуют.

K-EXAONE-2.0-750B-A37B-DSpark — мультиязычная языковая модель общего назначения от LG AI Research. Это модель с архитектурой Mixture of Experts семейства EXAONE, предназначенная для генерации текста и диалогового взаимодействия. По метаданным, модель содержит 34,1 млрд параметров и поддерживает контекст до 262 144 токенов. Модель рассчитана на рассуждения, агентные сценарии, работу с кодом и поиск информации в длинном контексте. Она поддерживает корейский, английский, испанский, немецкий, японский, вьетнамский, французский, итальянский, польский и португальский языки. Для ускорения генерации README описывает speculative decoding методами MTP и DSpark; заявлено ускорение примерно в 3–5 раз. Для запуска приведены конфигурации SGLang и vLLM на двух узлах с 16 GPU NVIDIA H200, поэтому использование требует значительных вычислительных ресурсов. Модель выпущена под лицензией Apache 2.0. Она может выдавать ошибочные, устаревшие, предвзятые или неподходящие ответы; актуальность сведений не гарантируется. README также отмечает проблему генерации на NVIDIA B200 с рекомендацией отключить prefill CUDA graph до исправления.

NVIDIA разработала Nemotron-UltraLong-8B как серию языковых моделей на базе Llama 3.1; этот вариант рассчитан на контекст до 2 млн токенов. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и предназначена для генерации текста в диалоговом формате, следования инструкциям и работы с очень длинными последовательностями. Модель прошла продолженное предварительное обучение на длинных последовательностях и дообучение на инструкциях по общим задачам, математике и программированию. В README заявлена работа с длинным контекстом и конкурентные результаты на стандартных тестах. Метаданные указывают английский язык; карточка также описывает интерфейс вызова инструментов. Для запуска README рекомендует Transformers версии 4.43.0 или выше. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Llama-3.1-Nemotron-Nano-4B-v1.1 — компактная плотная авторегрессионная языковая модель на архитектуре Llama, размещённая в репозитории Unsloth и основанная на NVIDIA Llama-3.1-Nemotron-Nano-4B-v1.1. Это дообученный чекпойнт примерно на 3,9 млрд параметров, созданный для диалога, следования инструкциям и рассуждений; в обучении использовались SFT и этапы обучения с подкреплением для математики, кода, работы с инструментами и предпочтений в чате. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель предназначена для локального запуска на одном GPU и для создания чат-ботов, агентных систем и приложений RAG. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также задач с кодом. Карточка сообщает, что модель готова к коммерческому использованию, однако метаданные обозначают лицензию только как other и не раскрывают её условия, поэтому перед использованием следует проверить лицензионные условия репозитория. В README приведены результаты на отдельных бенчмарках; они получены при контексте до 32 тыс. токенов и не гарантируют аналогичного качества в других сценариях.

Meta-Llama-3.1-70B-Instruct-GGUF — инструкционная большая языковая модель семейства Llama 3.1, разработанная Meta и представленная в формате GGUF сообществом backyardai. Она предназначена для генерации текста, диалоговых приложений, ответов на вопросы и выполнения инструкций. Модель является производной от meta-llama/Meta-Llama-3.1-70B-Instruct и ориентирована на сценарии локального или специализированного инференса с использованием совместимых инструментов. Модель имеет размер 70 миллиардов параметров и работает с текстовыми данными. В карточке заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Конкретная архитектура, длина контекста и параметры квантования для данной сборки не указаны. Большой размер может обеспечивать высокое качество генерации, однако требует значительных вычислительных ресурсов; практические характеристики зависят от используемого варианта GGUF и среды запуска. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено требование получить отдельную лицензию Meta.

Mistral-7B-Instruct-v0.3-GGUF — это GGUF-квантизированная версия Mistral-7B-Instruct-v0.3, разработанной Mistral AI. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, следования инструкциям и использования в качестве универсального ассистента, включая сценарии с вызовом функций. Модель содержит около 7 млрд параметров, использует архитектуру Mistral и поддерживает контекст длиной 32 768 токенов. В версии 0.3 расширен словарь с 32 000 до 32 768 токенов, добавлен новый токенизатор и реализована поддержка function calling через специальные токены TOOL_CALLS, AVAILABLE_TOOLS и TOOL_RESULTS. Для работы в LM Studio рекомендуется шаблон Mistral Instruct с форматом <s> [INST] запрос [/INST] </s>. Сильные стороны модели — качественное следование инструкциям, универсальность и поддержка вызова функций. README не содержит сведений о поддерживаемых языках, конкретных размерах файлов или характеристиках отдельных уровней квантизации. Модель распространяется по лицензии Apache 2.0.

Phi-3.1 Mini 128K Instruct — компактная языковая модель Microsoft, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантование подготовлено bartowski на основе Phi-3-mini-128k-instruct. Модель предназначена для диалогов, генерации и анализа текста, следования инструкциям, многошаговых рассуждений, решения математических задач, программирования, работы с общеизвестными сведениями и поддержания многоходовых бесед. Модель представляет собой плотный decoder-only Transformer примерно с 3,8 млрд параметров. Она обучалась на 3,3 трлн токенов, включая отфильтрованные общедоступные документы, образовательные и синтетические учебные данные, код, а также качественные диалоговые наборы. Для настройки применялись supervised fine-tuning и Direct Preference Optimization. Контекстное окно составляет до 128K токенов и реализовано с использованием технологии LongRoPE. Поддерживается английский язык; заявленные модальности ограничены текстом. К сильным сторонам относятся улучшенное следование инструкциям, структурирование ответов, поддержка тега system, качество многоходового диалога и усиленные способности к рассуждению при относительно небольшом размере. Ограничениями являются текстовая специализация, заявленная языковая поддержка английского и возможные неточные, вредные или вводящие в заблуждение ответы. Модель распространяется по лицензии MIT.

SanctumAI/Phi-3.5-mini-instruct-GGUF — это GGUF-квантизированная версия модели Phi-3.5-mini-instruct, разработанной Microsoft и подготовленной к распространению в данном формате командой SanctumAI. Модель предназначена для генерации текста, диалоговых приложений и выполнения инструкций, включая задачи, связанные с обработкой естественного языка и кодом. Она относится к семейству Phi-3 и обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на качественные данные для рассуждений. В процессе дообучения применялись supervised fine-tuning, proximal policy optimization и direct preference optimization, что направлено на улучшение следования инструкциям и безопасности ответов. Модель поддерживает контекст до 128K токенов и заявлена как multilingual, однако конкретный перечень языков не указан. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; их размер составляет примерно от 1,42 до 7,64 ГБ, а оценочная потребность в оперативной или видеопамяти — от 5,02 до 10,82 ГБ. Это позволяет запускать модель на сравнительно ограниченных по ресурсам системах, но более сильная квантизация может снижать качество по сравнению с f16. Модель распространяется по лицензии MIT.

Qwen2.5-7B-DeepSeek-R1-1M — объединённая плотная языковая модель на архитектуре Qwen2 с 7,1 млрд параметров. Её создал prithivMLmods методом TIES с помощью MergeKit, объединив DeepSeek-R1-Distill-Qwen-7B и Qwen2.5-7B-Instruct на базе Qwen2.5-7B-Instruct-1M. В репозитории веса представлены в формате safetensors; конфигурация слияния использует точность bfloat16. Модель предназначена для диалогов и генерации текста, включая ответы в стиле рассуждений. Заявленная длина контекста — до 1 010 000 токенов; модель работает через библиотеку Transformers. Она принимает текст и генерирует текст, а метаданные также отмечают интерфейс для вызова инструментов. Сведения о лицензии в предоставленных данных отсутствуют. Качество и поведение после слияния могут отличаться от исходных моделей; заявленная длина контекста не гарантирует одинаковую точность на всём объёме.

Qwen3-4B-Instruct-2507-AWQ-4bit — это 4-битная AWQ-квантизованная версия причинной языковой модели Qwen3-4B-Instruct-2507. Базовую модель разработала команда Qwen, а данную квантизованную сборку опубликовал пользователь cyankiwi. Квантизация выполнена с использованием llm-compressor, схемы W4A16_ASYM для линейных слоёв и набора данных Llama-Nemotron-Post-Training-Dataset; слой lm_head не квантизовался. Модель предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, вызова инструментов и агентских сценариев. Она работает только в non-thinking mode и не формирует блоки <think></think>. Заявлены улучшенные многоязычные возможности и поддержка контекста длиной до 262 144 токенов, однако конкретный перечень языков не указан. Архитектура включает 4,0 млрд параметров, 36 слоёв и Grouped Query Attention с 32 головами для Q и 8 для KV; число параметров без эмбеддингов — 3,6 млрд. Квантизация снижает требования к памяти и может упростить локальное развертывание, но способна влиять на качество по сравнению с полной точностью. В README не приведены точные аппаратные требования и детальное описание ограничений квантизованной версии. Лицензия — Apache-2.0.

Карточка модели p-e-w/Qwen3-4B-Instruct-2507-heretic на Hugging Face совпадает с карточкой Tolu49ja/Qwen3-4B-Instruct-2507-heretic, поэтому описание составлено по ней. Tolu49ja/Qwen3-4B-Instruct-2507-heretic — производная чат-модель семейства Qwen3, созданная на основе Qwen/Qwen3-4B-Instruct-2507 методом abliteration, направленным на снижение частоты отказов. В приведённом сравнении доля отказов снизилась с 99 до 21 из 100 запросов; KL-дивергенция относительно исходной модели составляет 0,43. Репозиторий содержит веса safetensors для Transformers, лицензия — Apache-2.0. Модель предназначена для генерации ответов по инструкциям, рассуждений, работы с математическими и научными вопросами, кодом и инструментами, а также для задач на длинном контексте. Это плотная причинная языковая модель с 3,7 млрд параметров и контекстом до 262 144 токенов; README указывает, что она работает в режиме без пошагового рассуждения. Заявлена поддержка нескольких языков, но конкретные языки не перечислены. Меньшая частота отказов может быть полезна для запросов, которые исходная модель отклоняет, однако приведённая оценка основана на тесте из 100 запросов и не характеризует все сценарии. Как и другие языковые модели, она может ошибаться, а ответы требуют проверки; применение в чувствительных областях требует дополнительной оценки.

Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill — языковая модель для генерации текста и решения сложных аналитических задач, разработанная сообществом на базе Qwen/Qwen3.5-9B. Она дообучена методом supervised fine-tuning с применением LoRA и дистилляции рассуждений из Gemini 3.1, Qwen3.5-27B и корпуса Gemini 3.0 Pro. Модель ориентирована на структурированное пошаговое рассуждение, декомпозицию задач, планирование, абстрагирование и подготовку более связных ответов. Модель предназначена для многошагового анализа, математики и логики, программирования и системных задач, физики, инженерии, права, медицины, финансов, химии, а также сценариев, связанных с безопасностью и adversarial reasoning. Заявлены языки English, Chinese и Korean. Архитектура — плотная модель размером 9B параметров; поддерживается текстовая генерация. Размер контекстного окна в README не указан. Сильными сторонами являются компактный размер, структурированная организация рассуждений, улучшенное отслеживание ограничений и широкое междоменное покрытие. Ограничения включают возможное ухудшение обобщения или частичное забывание отдельных знаний базовой модели из-за дистилляции и специализированного дообучения, поэтому модель следует проверять на целевых задачах перед использованием в производстве. Лицензия — Apache-2.0.

heretic-org/Qwen3.8-27B-heretic-ara — мультимодальная модель для диалогов, изменённая на основе Qwen/Qwen3.8-27B. Это плотная модель на 27 млрд параметров с причинной языковой моделью и визуальным энкодером; она принимает текст, изображения и видео и предназначена для диалогов, анализа визуальных материалов, программирования и многошаговых задач. Контекст модели составляет 262 144 токена с возможностью расширения до 1 000 000 токенов. В README описана abliteration: изменение слоёв 26–56 с целью сократить отказы. В приведённом тесте модель отказала в 0 из 100 случаев, тогда как исходная модель — в 99 из 100; это указывает на ослабление отказного поведения и требует учитывать результат при выборе сценариев применения. Модель распространяется в формате Safetensors, совместима с Transformers и рядом движков инференса. Лицензия — Apache-2.0.

Qwen3.8-27B-heretic-ara-Q4_K_M-MTP-GGUF — квантизированная GGUF-версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, подготовленная cygnal. Модель основана на Qwen3.8-27B и распространяется с сохранёнными тензорами MTP (Multi-Token Prediction) для ускоренного декодирования, а также с отдельным vision-проектором mmproj для обработки изображений. В карточке заявлены поддержка английского и китайского языков и мультимодальный сценарий image-text-to-text. Модель предназначена для диалогов, генерации и анализа текста, программирования, технических задач, извлечения структурированных данных и понимания изображений. Основной файл Q4_K_M имеет размер около 16 ГБ и использует квантизацию с 4,83 битами на вес. Для запуска рекомендован llama.cpp; заявлена поддержка контекста до 32768 токенов в типовой конфигурации. MTP может заметно повысить скорость генерации, особенно на совместимом оборудовании AMD Strix Halo, однако для запросов с изображениями в ROCmFPX его необходимо отключать из-за ограничений реализации. Сильными сторонами являются сочетание текстовых и визуальных возможностей, наличие MTP, поддержка OpenAI-совместимого API и несколько вариантов запуска для стандартного llama.cpp и ROCmFPX. Ограничения включают высокие требования к памяти, зависимость производительности от оборудования и backend, а также необходимость отдельного mmproj-файла для изображений. Исходная модель описана как uncensored-версия с изменённым поведением отказов, поэтому её ответы требуют дополнительной проверки и настройки мер безопасности. Лицензия — Apache-2.0.

SmolLM3-3B — открытая инструктивная языковая модель компании Hugging Face, рассчитанная на сильные результаты при небольшом размере. Это плотный декодерный Transformer с GQA и NoPE, содержащий 3,1 млрд параметров; модель дообучена на базе HuggingFaceTB/SmolLM3-3B-Base. Она поддерживает диалог, вызов инструментов и режимы с расширенными рассуждениями, а также генерацию и продолжение текста, включая задачи по математике, программированию и работе с длинными документами. Модель обучалась с контекстом 64 тыс. токенов; конфигурация задаёт 65 536 токенов, а README описывает расширение до 128 тыс. и 256 тыс. с YaRN. В README указаны английский, французский, испанский, немецкий, итальянский и португальский как нативно поддерживаемые языки; метаданные также отмечают китайский, арабский и русский. Доступны открытые веса и подробности обучения. Лицензия Apache-2.0. Модель подходит для чат-ботов, помощи в рассуждениях, генерации кода и математических ответов, а также сценариев с вызовом инструментов. Она может выдавать фактически неверные или логически непоследовательные ответы и воспроизводить смещения из обучающих данных; важные сведения следует проверять.

Unsloth SmolLM3-3B — инструктивная языковая модель, производная от HuggingFaceTB/SmolLM3-3B. Это плотный decoder-only Transformer с GQA и NoPE, рассчитанный на генерацию текста, диалоги, рассуждения и вызов инструментов. Модель содержит 3,1 млрд параметров и доступна в формате safetensors; карточка указывает лицензию Apache-2.0. Модель поддерживает многоязычные диалоги и задачи рассуждения, в том числе математику и программирование. В README заявлены обучение на контексте 64 тыс. токенов и расширение до 128 тыс. с YaRN; метаданные каталога указывают нативный контекст 65 536 токенов. Доступен режим расширенного рассуждения, включённый по умолчанию, и интерфейс вызова инструментов. README описывает SmolLM3 как открытую модель с опубликованными сведениями об обучении; версия Unsloth представлена как вариант с динамической квантизацией 2.0, хотя метаданные этого репозитория указывают формат safetensors. Сгенерированный текст может содержать фактические ошибки, противоречия и смещения, поэтому важные ответы следует проверять.

Solar-Open2-250B-Nota-INT4 — 4-битная квантованная версия языковой модели Solar-Open2-250B от Upstage, подготовленная компанией Nota AI. Модель предназначена для генерации текста, диалоговых приложений, рассуждений, программирования, вызова инструментов и других задач обработки естественного языка. Заявлены языки английский, корейский и японский. Модель основана на архитектуре Mixture-of-Experts (MoE) и использует квантование весов W4A16 с форматом INT4, размером группы 128 и упаковкой AutoRound, совместимой с GPTQ. Весовой объём составляет около 142,9 ГБ против 500,6 ГБ в формате BF16. Модель рассчитана на развёртывание через vLLM; в README приведена конфигурация с tensor parallelism для четырёх GPU. Размер контекста в предоставленных данных не указан. Ключевое преимущество — снижение требований к памяти при сохранении близкого к BF16 качества: средний результат на приведённых бенчмарках составляет 81,17 против 81,57 у BF16. Для квантования применены методы Nota AI, ориентированные на сохранение маршрутизации экспертов, включая DREAM-MoE и SRA-MoE. Ограничениями являются необходимость значительных вычислительных ресурсов для запуска, зависимость от совместимой версии vLLM и возможное небольшое снижение качества на отдельных задачах по сравнению с BF16. Модель распространяется по лицензии Upstage Solar License. Для производных моделей требуется использовать префикс Solar в названии, указывать формулировку Built with Solar в публичных материалах и включать копию лицензии Upstage Solar.

Tri-70B-preview-SFT — исследовательская предварительная версия крупной языковой модели компании Trillion Labs. Это плотная авторегрессионная модель на архитектуре Transformer Decoder с 69,5 млрд параметров, обученная с нуля на 1,5 трлн токенов и затем прошедшая supervised fine-tuning. В архитектуре используются iRoPE, скользящее внимание с окном 4096 токенов, SwiGLU, RMSNorm и GQA; размер контекста — 32 768 токенов. Модель предназначена для генерации текста в диалогах, рассуждений по шагам, ответов на вопросы, решения математических задач и программирования. Она специально оптимизирована для английского, корейского и японского языков. Выпуск прошёл только supervised fine-tuning без обширного RLHF, поэтому модель может быть полезна для исследований и экспериментов с методами выравнивания, но ответы могут быть менее отполированными и безопасно настроенными, чем у моделей с более полной постобработкой. Модель выпущена под лицензией Apache-2.0. Заявленная дата отсечения знаний — февраль 2025 года; качество на языках, отличных от английского, корейского и японского, может быть ниже.

Карточка модели DIYIN/Youtu-LLM-2B на Hugging Face совпадает с карточкой tencent/Youtu-LLM-2B, поэтому описание составлено по ней. Youtu-LLM-2B — инструктивная языковая модель Tencent для диалогов, рассуждений и выполнения задач агентного типа. Это плотная авторегрессионная модель с архитектурой YoutuForCausalLM и механизмом Dense MLA; в ней около 2 млрд параметров, 32 слоя и словарь из 128 256 токенов. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и режим рассуждений, включаемый через шаблон диалога. Модель предназначена для чат-ботов, ответов на вопросы, задач STEM и программирования, работы с длинными контекстами и многошаговых агентных сценариев. Карточка приводит сравнительные результаты на общих и агентных бенчмарках, но эти оценки не гарантируют качество на конкретных данных. В репозитории указана лицензия other; конкретные условия следует сверять с текстом лицензии проекта.

Карточка модели jondurbin/airoboros-l2-70b-gpt4-m2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-65b-gpt4-m2.0, поэтому описание составлено по ней. airoboros-65b-gpt4-m2.0 — плотная авторегрессионная модель семейства LLaMA на 65 млрд параметров, разработанная Jon Durbin и дообученная для следования инструкциям на синтетических данных Airoboros. Версия m2.0 объединяет данные набора 1.4.1 без дубликатов и категории system с данными GPT-4, созданными на основе версии от июня 2023 года; исходная серия также включала данные GPT-4 от марта 2023 года. Модель предназначена для диалога и генерации текста по инструкциям: ответов на вопросы по предоставленному контексту, помощи с программированием, планирования шагов для задач с инструментами и генерации аргументов функций в JSON или YAML. Для общения используется текстовый шаблон с ролями USER и ASSISTANT. Контекст составляет 2048 токенов. Модель обучена с QLoRA; README отмечает, что варианты 65B основаны на оригинальной LLaMA, а не Llama 2. Карточка описывает модель как дающую подробные ответы, ориентированную на использование контекста в закрытых вопросах и включающую примеры планирования и вызова функций. Возможны галлюцинации, особенно если запрос не содержит достаточных сведений; для вопросов по контексту автор рекомендует явно просить не придумывать ответ. Модель выпускается по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и ограничивающей коммерческое применение.

Карточка модели jondurbin/airoboros-l2-7b-gpt4-m2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-33b-gpt4-m2.0, поэтому описание составлено по ней. airoboros-33b-gpt4-m2.0 — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, созданная Джоном Дурбином как дообучение с инструкциями на синтетических примерах Airoboros. Версия m2.0 объединяет набор данных версии 1.4.1 с данными серии 2.0 без дубликатов и категории system; данные серии 2.0 были сгенерированы GPT-4 от 14 июня 2023 года. Модель работает с текстом и предназначена для диалогов и выполнения инструкций. Модель подходит для ответов на вопросы по заданному контексту, помощи с программированием, планирования действий с инструментами и генерации структурированных ответов в JSON или YAML. Для контекстных вопросов README рекомендует явно размечать блоки входных данных и инструкций; автор также предупреждает, что модель может выдумывать ответы, если контекст не содержит нужной информации. Формат диалога использует префикс USER/ASSISTANT и системное описание помощника. Указанное в метаданных ограничение контекста — 2048 токенов. Для версии на 33 млрд параметров README сообщает о QLoRA-дообучении и исследовательском, некоммерческом назначении. Лицензия репозитория — CC BY-NC 4.0, поэтому коммерческое использование не допускается по указанным условиям.