II.4Отладка, тестирование и качество ПО

unsloth/Qwen3-1.7B-GGUF — GGUF-версия языковой модели Qwen3-1.7B, разработанной командой Qwen компании Alibaba Cloud и подготовленной для распространения Unsloth. Это авторегрессионная causal language model для диалогов, следования инструкциям, генерации текста и кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из них 1,4 млрд без учёта embedding, и имеет 28 слоёв. Архитектура внимания использует GQA с 16 головами для Q и 8 для KV. Максимальная длина контекста — 32 768 токенов. Qwen3 поддерживает переключение между режимами thinking для сложного рассуждения и no_think для более эффективного общего диалога. Заявлена поддержка более 100 языков и диалектов, однако в карточке явно указан язык English. Формат GGUF ориентирован на локальный запуск совместимыми средствами, включая llama.cpp и Ollama. Сильные стороны модели — компактный размер, мультиязычность, следование инструкциям, рассуждения, генерация кода и возможность выбирать между качеством рассуждения и скоростью ответа. Ограничения включают небольшой по современным меркам объём параметров и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и характеристик конкретной квантизации GGUF. Модель распространяется по лицензии Apache-2.0.

ArliAI/Qwen3.5-27B-Derestricted — модифицированная версия Qwen3.5-27B, разработанная Arli AI. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений. Её ключевая особенность — уменьшение или удаление поведения, связанного с отказами в ответах, при сохранении возможностей исходной модели. Модель содержит около 27 млрд параметров и построена как каузальная языковая модель с vision encoder. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; языковая часть включает 64 слоя. Заявлена поддержка 201 языка и диалекта. Модель совместима с Transformers, vLLM, SGLang и KTransformers. Точный размер контекста в предоставленных данных не указан. Для модификации применён метод Norm-Preserving Biprojected Abliteration: направление, связанное с отказами, удаляется с сохранением исходных норм весов. Это потенциально помогает сохранить рассуждения и общую производительность лучше, чем стандартная abliteration, однако приведённые в README утверждения о преимуществах основаны на заявлениях разработчика и не сопровождаются конкретными результатами тестов. Отсутствие защитных отказов расширяет область применения, но повышает риск генерации небезопасного или вредоносного контента. Модель распространяется по лицензии Apache-2.0.

Карточка модели Taewhoo/qwen3.5-9b-proteomics-rl-step25 на Hugging Face совпадает с карточкой Qwen/Qwen3.5-9B, поэтому описание составлено по ней. Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

Qwopus3.8-27B-Flash-V2-bf16 — конверсия модели Jackrong/Qwopus3.8-27B-Flash-V2 в формат MLX BF16, подготовленная сообществом mlx-community для запуска на компьютерах Apple Silicon. Это мультимодальная модель семейства Qwen3.5 с архитектурой условной генерации; она принимает текст, изображения и видеоматериалы и поддерживает чат, работу с инструментами и генерацию кода. В конверсии сохранены шаблон чата и настройки мультимодального процессора исходной модели. Модель подходит для диалогов и задач с кодом, а также для вопросов по изображениям и видео. Для мультимодального запуска README рекомендует библиотеку mlx-vlm. Модель распространяется по лицензии Apache 2.0, унаследованной от исходной модели; подробности о назначении и ограничениях приведены в её исходной карточке.

Merlinoz11/Solar-Open2-Apex-GGUF — GGUF-версия модели Solar Open 2 от Upstage, семейства больших языковых моделей с открытыми весами. Это модель с архитектурой Hybrid-Attention Mixture-of-Experts: всего около 250 млрд параметров, из которых на каждом токене активируются примерно 15 млрд. Гибридное чередование линейного и обычного внимания рассчитано на эффективную генерацию в длинном контексте; базовая модель поддерживает контекст до 1 048 576 токенов. Модель предназначена для агентных сценариев: многошагового рассуждения и выполнения задач, вызова инструментов, работы с документами, офисных задач и программирования. README описывает поддержку английского, корейского и японского языков. В метаданных этой копии указаны задача text-generation, чат-возможности и формат GGUF; отдельная специализация данного репозитория сверх базовой модели не уточняется. Для запуска полной модели README приводит конфигурацию с восемью GPU, каждый с памятью не менее 141 ГБ; фактические требования зависят от длины контекста и настроек. GGUF может быть удобен для локального развёртывания, но карточка этой копии не сообщает точный уровень квантизации или требования к ресурсам. Лицензия обозначена как other, поэтому условия использования следует проверять в исходной карточке и документах лицензии Upstage.

bagel-7b-v0.1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.1 и jondurbin/bagel-7b-v0.1 методом SLERP; веса представлены в формате safetensors. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Контекст составляет до 32 768 токенов. В карточке указана лицензия Apache-2.0. Языки модели в предоставленных данных не перечислены.

AbuYahya2/deepseek-marsad — объединённая текстовая модель, созданная автором репозитория с помощью mergekit и метода TIES на основе deepseek-ai/DeepSeek-R1-Distill-Llama-8B с включением NousResearch/Meta-Llama-3-8B-Instruct. Это плотная авторегрессионная архитектура LlamaForCausalLM примерно на 7,5 млрд параметров; файлы представлены в формате safetensors, библиотека для работы — Transformers. Модель предназначена для диалоговой генерации текста и поддерживает контекст до 131 072 токенов. Модель подходит для чат-ответов, математических задач, программирования и многошаговых рассуждений — эти возможности связаны с базовой моделью DeepSeek-R1-Distill-Llama-8B. В метаданных также отмечен интерфейс вызова инструментов. README описывает способ слияния, но не приводит оценки качества или отдельные результаты тестирования именно этой объединённой версии. Условия использования определяются лицензиями базовых моделей; сведения о лицензии в предоставленных данных отсутствуют.

Vontra/DeepSeek-V4-Flash-0731-MXFP4-MLX — это MLX-конверсия модели DeepSeek-V4-Flash-0731 от DeepSeek, распространяемая Vontra. Модель предназначена для генерации текста и запуска локальных LLM-приложений на устройствах Apple с MLX, включая диалоги, программирование и работу с длинным контекстом. Исходная модель имеет 305 млрд параметров, из которых около 13 млрд активируются для одного токена, и использует архитектуру Mixture-of-Experts. В данной версии эксперты представлены в формате MXFP4, attention — в MXFP8, а выходная голова сохраняется в формате bfloat16. Поддерживается текстовая модальность; сведения о полном наборе языков и максимальной длине контекста в README не указаны, однако приведены измерения на контексте 23 тысячи токенов. Конверсия заявлена как побитово идентичная исходному checkpoint: значения весов после деквантизации совпадают с оригиналом, а размер составляет около 167,1 ГБ. Модель сохраняет DSpark MTP-головы, что позволяет использовать нативное speculative decoding в oMLX 0.5.4rc2 и повысить скорость генерации примерно до 41,7 токена в секунду на Mac Studio с M3 Ultra против 26,1 токена в секунду без спекуляции. Для работы требуется значительный объём памяти и совместимое окружение MLX/oMLX; заявленные показатели зависят от оборудования, настроек и кэширования промптов. Лицензия — MIT.

Dolphy-1.0 — диалоговая языковая модель от Dolphy AI, дообученная методом LoRA на базе Qwen/Qwen3-4B-Instruct-2507. Это плотная причинная модель семейства Qwen3 с 3,7 млрд параметров и контекстом до 262 144 токенов. В обучающем конвейере использовано 1,5 млн примеров из 20 наборов данных; среди перечисленных источников — материалы для диалогов, следования инструкциям, математики, программирования, письма и ответов на вопросы. Модель предназначена для генерации ответов в чате, выполнения инструкций, решения задач и работы с инструментами через совместимый с Qwen3 интерфейс вызова функций. Она поддерживает многоязычные возможности базовой модели; точный перечень языков в карточке не приведён. Репозиторий содержит веса safetensors, а README также рекомендует GGUF для локального запуска. Лицензия — Apache-2.0. Заявление автора о превосходстве над более крупными моделями не сопровождается результатами сравнительной оценки в предоставленной карточке. Качество может различаться в зависимости от задачи; подробные результаты тестирования и конкретный перечень поддерживаемых языков не приведены.

Eurus-7B-KTO — языковая модель OpenBMB для диалогов и задач, требующих рассуждений. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, контекстом до 32 768 токенов и интерфейсом чата. Модель дообучена методом KTO на базе Eurus-7B-SFT: использованы пары многошаговых диалоговых траекторий UltraInteract и пары предпочтений UltraFeedback. Модель предназначена для генерации ответов и многоходовых диалогов; авторы отдельно отмечают задачи математики и программирования и приводят специальные форматы запросов для них. В README сообщается о сравнительно высоких результатах на оценках рассуждений, математики и диалоговых способностей, однако конкретные метрики в карточке не приведены. Для лицензии Apache-2.0 разрешено использование на её условиях.

Falcon-H1-1.5B-Instruct-GGUF — инструкционная языковая модель, разработанная Technology Innovation Institute (TII). Это каузальная decoder-only модель с гибридной архитектурой Transformers и Mamba, предназначенная для генерации текста и выполнения инструкций, включая задачи рассуждения, математики, работы с научными вопросами, программирования и следования сложным указаниям. Модель доступна в формате GGUF и рассчитана на использование с llama.cpp; также поддерживается запуск через Transformers и vLLM. Модель относится к семейству Falcon-H1 и имеет размер 1,5 млрд параметров. Она поддерживает английский и многоязычные сценарии, включая арабский, китайский, чешский, немецкий, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский и урду. В опубликованных оценках Falcon-H1-1.5B показывает сильные результаты среди сопоставимых компактных моделей в общих задачах, математике, научных вопросах, программировании и следовании инструкциям, однако уступает некоторым моделям на отдельных тестах. Длина контекста и точные требования к ресурсам в README не указаны. Использование регулируется лицензией Falcon-LLM License; приведена ссылка на её условия. Модель подходит для локального запуска и приложений, где важны компактность, многоязычность и эффективность, но результаты следует дополнительно проверять для критически важных задач.

GLM-4.5-Air-Derestricted — диалоговая модель Arli AI, полученная модификацией GLM-4.5-Air методом Norm-Preserving Biprojected Abliteration. Изменение направлено на удаление отказов при сохранении способности исходной модели к рассуждению. По карточке каталога модель имеет архитектуру GLM4 MoE, 8,5 млрд параметров и контекст до 131 072 токенов; поддерживает диалоговый режим и работает через Transformers. Модель предназначена для генерации ответов в диалоге, рассуждений, программирования и сценариев интеллектуальных агентов, унаследованных от GLM-4.5-Air. Автор заявляет, что метод модификации сохраняет нормы весов и качество рассуждений, однако это заявление не подтверждено приведёнными в карточке результатами оценки именно этой версии. Модель распространяется по лицензии MIT; базовая GLM-4.5-Air описана как гибридная модель с режимами рассуждений и работы с инструментами.

Myric/GLM-4.7-Flash-APEX-GGUF — это GGUF-квантизованная версия GLM-4.7-Flash от zai-org, подготовленная в репозитории Myric для запуска через llama.cpp. Модель предназначена прежде всего для генерации текста, агентного программирования и сценариев, где важны локальный запуск и поддержка спекулятивного декодирования. Доступны варианты APEX-i-quality размером 16,60 ГБ, APEX-i-compact размером 13,27 ГБ и APEX-i-mini размером 10,24 ГБ; все они сохраняют MTP draft head. Модель использует MoE-архитектуру с 31,2 млрд общих параметров и примерно 3,6 млрд активных на токен: 64 маршрутизируемых эксперта с выбором top-4 и один общий эксперт. Архитектура основана на DeepSeek и использует MLA-внимание, 47 основных слоёв плюс один MTP-слой, а также контекст до 202 752 токенов. Квантизация выполнена из bf16-чекпойнта с использованием imatrix и смешанной точности: наиболее важные компоненты сохраняются на уровне около 6,4–6,9 бит на вес, а основная компрессия приходится на маршрутизируемые эксперты. В агентном бенчмарке программирования варианты i-quality и i-compact набрали по 53 из 59 тестов, тогда как i-mini — 38 из 59; это показывает, что младшая версия заметно слабее на длинных композиционных задачах. i-quality обеспечивает лучший баланс качества и размера, а i-compact почти не уступает ему на измеренном сценарии. Для загрузки требуется llama.cpp версии b10251 или новее с поддержкой GLM-4.7-Flash MTP; старые версии могут не распознать число тензоров. Лицензия модели — MIT.

Карточка модели eyes-dot-ml/GLM-5.3-Flash-BF16 на Hugging Face совпадает с карточкой zai-org/GLM-5.3-Flash-BF16, поэтому описание составлено по ней. GLM-5.3-Flash-BF16 — мультимодальная модель семейства GLM от Z.ai для диалогов и задач с изображениями. По карточке модели, она содержит 320 млрд параметров, из которых 18 млрд активны при обработке. Архитектура GLM5 Next сочетает разреженное и линейное внимание; модель обучена с нуля и использует мультимодальную предобучающую выборку объёмом 30 трлн токенов. Модель предназначена для анализа изображений и текста, программирования и агентных сценариев. В README заявлены улучшения относительно GLM-5.2 и эффективность при работе с длинным контекстом. Доступны уровни reasoning_effort low, high и max; для локального развёртывания перечислены Transformers, vLLM, SGLang и другие фреймворки. Метаданные указывают поддержку английского и китайского языков и интерфейс чата с обработкой изображений. Лицензия — MIT.

GLM-Z1-9B-0414 — компактная языковая модель семейства GLM-4 от Z.ai с 8,8 млрд параметров. Она предназначена для диалогов и генерации текста, включая математические рассуждения, решение задач на логику и код, а также общие запросы. Модель поддерживает интерфейс вызова инструментов и рассчитана на локальное развёртывание в условиях ограниченных ресурсов. Модель обучена на базе серии GLM-Z1 с дополнительной подготовкой для рассуждений; README отмечает применение холодного старта и расширенного обучения с подкреплением на задачах математики, кода и логики. Контекст составляет 32 768 токенов. Указаны китайский и английский языки. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Для длинных входов свыше 8 192 токенов README рекомендует при необходимости включать YaRN; статическое масштабирование может немного ухудшить результаты на коротких текстах. Модель выпущена под лицензией MIT.

bunnycore/Llama-3.2-3B-TitanFusion-v2 — текстовая языковая модель, созданная слиянием нескольких предварительно обученных моделей семейства Llama 3.2 с помощью mergekit и метода TIES. В качестве базовой использована unsloth/Llama-3.2-3B; в слияние также вошли модели с уклоном в программирование и рассуждения. Модель содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалоговых сценариев. Заявленная длина контекста — 131 072 токена. В карточке не приведены сведения о специальных языковых или предметных ограничениях, а также о лицензии, поэтому их нельзя уточнить по доступным данным.

v2ray/Llama-3-70B-Instruct — перезагрузка модели Meta Llama 3 70B Instruct, предназначенной для диалогового использования. Это авторегрессионная плотная языковая модель на базе оптимизированного Transformer с Grouped-Query Attention; объём модели — 69,5 млрд параметров, контекст — 8192 токена. Модель принимает текст и генерирует текст, включая код. Модель подходит для англоязычного диалогового помощника и задач генерации текста. В карточке описана настройка инструкционных версий с помощью supervised fine-tuning и обучения с подкреплением на основе человеческой обратной связи. Разработчик — Meta; версия выпущена 18 апреля 2024 года. Модель рассчитана прежде всего на английский язык. Для использования действует пользовательская коммерческая лицензия Meta Llama 3 и связанные с ней условия допустимого использования. Ответы могут требовать проверки и дополнительных мер безопасности в зависимости от приложения.

mergekit-community/mergekit-linear-mocebtg — объединённая плотная языковая модель, созданная сообществом с помощью mergekit методом Linear из DeepSeek-R1-Distill-Qwen-32B и mergekit-community/mergekit-model_stock-czbocwb. Она предназначена для генерации текста в диалоговом формате; интерфейс также поддерживает вызов инструментов. Модель построена на архитектуре Qwen2 и содержит 32 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. В метаданных указаны формат safetensors и библиотека Transformers. Базовая DeepSeek-R1-Distill-Qwen-32B дообучена для рассуждений и решения задач по математике и программированию, однако отдельные возможности и качество итогового слияния не описаны. Сведения о лицензии в предоставленных данных отсутствуют.

Meta Llama 3 8B Instruct — языковая модель Meta на 8 млрд параметров для диалоговых сценариев. Это авторегрессионный трансформер с оптимизированной архитектурой и Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с подкреплением на основе оценок людей. Модель принимает текст и генерирует текст, в том числе код. Модель предназначена для ассистентского общения и генерации текста на английском языке, в коммерческих и исследовательских приложениях. Она подходит для создания чат-ботов и ответов на запросы; качество и безопасность ответа зависят от сценария и настроек приложения, поэтому для конкретного применения могут потребоваться дополнительные меры защиты. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

Карточка модели tuneai/Meta-Llama-3-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3 8B Instruct — языковая модель Meta на 8 млрд параметров для диалоговых сценариев. Это авторегрессионный трансформер с оптимизированной архитектурой и Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с подкреплением на основе оценок людей. Модель принимает текст и генерирует текст, в том числе код. Модель предназначена для ассистентского общения и генерации текста на английском языке, в коммерческих и исследовательских приложениях. Она подходит для создания чат-ботов и ответов на запросы; качество и безопасность ответа зависят от сценария и настроек приложения, поэтому для конкретного применения могут потребоваться дополнительные меры защиты. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

Abiray/MiniCPM5-2B-GGUF — набор квантованных весов модели MiniCPM5-2B, разработанной OpenBMB и входящей в серию MiniCPM5. Это плотная Transformer-модель примерно на 2 млрд параметров, представленная в формате GGUF для локального запуска через llama.cpp, Ollama и LM Studio, включая сценарии on-device и edge AI. Модель ориентирована на генерацию текста и поддерживает английский и китайский языки. Модель предназначена для генерации кода и текста, решения математических задач, работы с длинным контекстом до 128 тысяч токенов, вызова инструментов и многошаговых агентских сценариев. Доступны варианты квантования от Q3_K_M до Q8_0 размером примерно от 1,29 до 2,68 ГБ; Q4_K_M указан как рекомендуемый баланс скорости, качества и занимаемой памяти, а Q8_0 — как вариант с минимальными потерями относительно исходных весов. Квантование уменьшает требования к памяти, но может влиять на точность, особенно в компактных вариантах. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-4-119B-Uncensored-GGUF — текстовая GGUF-версия модели Mistral Small 4 119B Instruct, разработанная TIMTEH на базе модели Mistral AI. Из исходной мультимодальной модели удалена vision tower, поэтому данная версия работает только с текстом. Модель предназначена для генерации текста, диалогов, рассуждений, программирования и других задач обработки естественного языка, включая сценарии, где требуется меньше ограничений на ответы. Модель содержит 119 млрд параметров и использует архитектуру Mixture of Experts с 128 маршрутизируемыми и одним общим экспертом на каждом слое; для каждого токена активируются 4 эксперта. Архитектура включает 36 decoder layers и Multi-Latent Attention. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского и корейского языков. Исходная модель поддерживает контекст до 128K токенов, однако для GGUF-рантаймов рекомендуется ориентироваться на контекст до 32K токенов. Ключевая особенность — abliteration: из слоёв 9–35 удалено направление, связанное с отказами, без дообучения и изменения датасета. Это расширяет диапазон запросов, на которые модель отвечает, но одновременно уменьшает защитные ограничения и требует ответственного применения. Модель доступна в вариантах квантования от Q2_K до Q8_0, а также в BF16; размер файлов составляет примерно от 41 до 222 ГБ, поэтому требуются значительные ресурсы GPU или оперативной памяти. Совместима с llama.cpp, LM Studio, Jan, koboldcpp, Ollama и другими GGUF-совместимыми средами. Распространяется по лицензии Apache-2.0.

Muse-Glimmer-30B-GGUF — набор GGUF-сборок модели Muse Glimmer 30B, разработанной Meta и опубликованной AtomicChat в формате, совместимом с llama.cpp. Модель предназначена для генерации текста, мультимодального анализа изображений, диалоговых сценариев, работы с инструментами, а также задач программирования, написания текстов и рассуждений. Указан pipeline image-text-to-text, однако точная архитектура, поддерживаемые языки и максимальный контекст модели в README не раскрыты. Доступны варианты квантования от Q8_0 и BF16 до IQ2_XXS объёмом примерно от 9,3 до 55,7 ГБ. Для работы с изображениями требуется отдельный vision-проектор mmproj размером около 3,9 ГБ, а для ускоренной генерации можно подключить drafter dflash, добавляющий около 5,5 ГБ к требованиям по памяти. Рекомендуемая сборка AD-IQ4_XS рассчитана примерно на 24 ГБ видеопамяти вместе с vision-проектором и обеспечивает компромисс между размером и качеством; на RTX 5090 заявлена скорость до 39,6 токена в секунду без drafter и до 71,8 с ним. Сильные стороны модели — мультимодальность, поддержка tool calling, несколько вариантов квантования и возможность запуска на одной потребительской видеокарте. Качество снижается по мере уменьшения разрядности, особенно на низких вариантах IQ; speculative decoding требует дополнительной памяти и снижает скорость обработки промпта. Для запуска нужен llama.cpp, собранный из актуальной ветки master с поддержкой Muse Glimmer, а также параметр --jinja для корректной работы шаблона чата и разбора вызовов инструментов. Лицензия — Apache 2.0.

Open-Instruct Human-mix 13B — языковая модель Allen Institute for AI (AI2), полученная дообучением LLaMA с 12,9 млрд параметров на смеси созданных людьми инструкционных данных, включая FLAN V2, CoT, Dolly и OpenAssistant 1. Модель предназначена для генерации ответов на инструкции и запросы на естественном языке; её обучали и оценивали в рамках исследования состояния instruction tuning на открытых ресурсах. Модель использует плотную архитектуру LLaMA и принимает текст. Контекст составляет 2048 токенов; в карточке указан английский язык. Для генерации рекомендуется соблюдать заданный авторами формат входа с переносами строк. В README приведены результаты на тестах знаний, математики, рассуждений, вопросов и ответов и генерации кода. Это diff весов, поэтому для использования нужна доступная базовая LLaMA в формате Hugging Face. Модель распространяется по лицензии AI model license вместе с исходной лицензией LLaMA; условия обеих лицензий следует учитывать при использовании.

Это конвертированная в ONNX модель Phi-3 Medium-128K-Instruct, подготовленная Microsoft для ускоренного инференса через ONNX Runtime на видеокартах NVIDIA с CUDA. В основе — плотная авторегрессионная архитектура Phi-3 с 13,8 млрд параметров; исходная модель обучена на синтетических данных и отфильтрованных общедоступных веб-данных, а затем прошла дообучение с учителем и оптимизацию предпочтений DPO для следования инструкциям и мер безопасности. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, рассуждения, математические задачи и код. Карточка исходной модели описывает варианты контекста 4K и 128K токенов, однако метаданные этого репозитория указывают native_context_tokens=4096, поэтому для данной версии подтверждён контекст до 4096 токенов. Репозиторий содержит варианты FP16 и INT4; INT4 использует квантизацию RTN. В README приведены замеры скорости на NVIDIA A100 и указано требование CUDA GPU с Compute Capability не ниже 7.0. Модель разработана Microsoft и распространяется по лицензии MIT. Это конверсия исходных весов для ONNX Runtime, а не самостоятельное дообучение; использование CUDA-варианта требует совместимой NVIDIA GPU, а характеристики и скорость зависят от конфигурации инференса.

microsoft/Phi-3-mini-4k-instruct-gguf — репозиторий с файлами в формате GGUF для Phi-3-Mini-4K-Instruct, разработанной Microsoft. Это компактная языковая модель для генерации текста и выполнения инструкций на английском языке, предназначенная для коммерческого и исследовательского использования, включая приложения с ограниченными ресурсами памяти и вычислений, требованиями к низкой задержке, а также задачи рассуждения, математики, логики, понимания языка и работы с контекстом. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4096 токенов. Она обучалась на данных Phi-3, включающих синтетические примеры и отфильтрованные общедоступные веб-данные с акцентом на качество и плотность рассуждений. Постобучение включает supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и безопасности. Репозиторий предлагает варианты GGUF, включая 4-битную квантизацию Q4_K_M размером около 2,2 ГБ и FP16 размером около 7,2 ГБ. Сильными сторонами являются малый размер, эффективность в ресурсоограниченных и чувствительных к задержке сценариях, а также заявленная высокая производительность среди моделей с менее чем 13 млрд параметров. Модель не предназначена специально и не оценивалась для всех прикладных сценариев; перед использованием в ответственных областях необходимо проверять точность, безопасность и справедливость результатов. Модель распространяется по лицензии MIT.

Карточка модели Sonorix/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Карточка модели nuckcrews/Qwen3-0.6B-pub на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

TeichAI разработала эту плотную языковую модель с 3,7 млрд параметров на основе unsloth/Qwen3-4B-Thinking-2507. Модель дообучена на наборе TeichAI/gemini-3-pro-preview-high-reasoning-250x, составленном из примеров Gemini 3 Pro Preview с высоким уровнем рассуждений, и предназначена для генерации текста в диалогах и решения сложных задач. Указанные сценарии применения — программирование и наука. Модель принимает текст и генерирует текст, поддерживает контекст до 262 144 токенов и предоставляет интерфейсы для чата и вызова инструментов. В репозитории указаны веса Safetensors; лицензия — Apache-2.0. Карточка не приводит оценок качества или сравнительных результатов, поэтому возможности модели в конкретных задачах требуют проверки.

unsloth/Qwen3.5-2B-GGUF — GGUF-версия модели Qwen3.5-2B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для мультимодального понимания текста и изображений, рассуждений, программирования, агентских сценариев, прототипирования, исследовательских задач и дообучения под конкретные задачи. Модель совместима с экосистемой Hugging Face Transformers, vLLM, SGLang и KTransformers; для локального запуска и дообучения Unsloth предоставляет отдельные руководства. Модель содержит около 2 млрд параметров, 24 слоя и скрытую размерность 2048. В архитектуре сочетаются Gated Delta Networks и Gated Attention; заявлена гибридная структура с эффективной обработкой последовательностей. Нативная длина контекста составляет 262 144 токена. Модель поддерживает мультимодальные входы и заявленную языковую и диалектную представленность для 201 языкового варианта. GGUF-квантизация ориентирована на эффективный локальный запуск при ограниченных вычислительных ресурсах, однако конкретные характеристики скорости, памяти и точности зависят от варианта квантизации и используемого рантайма. К сильным сторонам относятся сочетание языкового и визуального понимания, длинный контекст, компактный размер и возможность локального применения. Ограничением является меньшая параметрическая ёмкость по сравнению с крупными моделями, поэтому модель может уступать им в сложных задачах и не предназначена как универсальная замена наиболее мощным системам. README также указывает, что модель ориентирована прежде всего на прототипирование, специализированное дообучение, исследования и разработку. Лицензия — Apache 2.0.