II.4Отладка, тестирование и качество ПО

PlumChat 70b — объединённая языковая модель sequelbox, созданная с помощью mergekit на основе Meta Llama 3.1 70B Instruct и моделей NVIDIA Llama 3.1 Nemotron 70B Instruct HF и ValiantLabs Llama3.1-70B-ShiningValiant2. Она предназначена для диалогов общего назначения, следования инструкциям, научных запросов и сложных вопросов. Модель использует плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов; карточка указывает английский язык. Веса опубликованы в формате safetensors, библиотека — Transformers. Слияние выполнено методом Della с нормализацией весов. Модель рассчитана на генерацию текста и чат, в том числе на научные и технические темы. Лицензия — Llama 3.1; условия её использования определяются лицензией Meta Llama 3.1.

casperhansen/llama-3.2-3b-instruct-awq — это общественно созданная AWQ-квантизованная версия текстовой instruction-tuned модели Llama 3.2 3B Instruct, разработанной Meta. Репозиторий содержит модель примерно на 3 млрд параметров в формате Safetensors с 4-битным представлением AWQ, предназначенным для снижения требований к памяти и запуска на устройствах с ограниченными вычислительными ресурсами. Модель рассчитана на многоязычный диалог, следование инструкциям, ассистентские сценарии, извлечение знаний, суммаризацию, написание и перефразирование текста. Архитектура — авторегрессионный оптимизированный Transformer с Grouped-Query Attention; исходная модель обучена с применением supervised fine-tuning и reinforcement learning from human feedback. Это текстовая модель: принимает и генерирует текст, включая код. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Сильные стороны — небольшой размер, сниженное потребление памяти благодаря 4-битной AWQ-квантизации, 3.21 млрд параметров и пригодность для локального инференса. Ограничения включают меньшую мощность по сравнению с более крупными моделями, текстовый характер без обработки изображений и возможные потери качества из-за квантизации. Для исходной текстовой Llama 3.2 заявлен контекст до 128k токенов, а для квантизованных вариантов — до 8k токенов; дата отсечения знаний — декабрь 2023 года. Для базовой Llama 3.2 применяется специальная коммерческая Llama 3.2 Community License с требованиями к перераспределению, указанием атрибуции и соблюдением Acceptable Use Policy. В карточке репозитория casperhansen отдельная лицензия не указана, поэтому условия использования следует проверять с учётом лицензии исходной модели Meta.

winglian опубликовал текстовую генеративную модель на архитектуре Meta Llama 3 с 7,5 млрд параметров. Модель использует плотный авторегрессионный Transformer с Grouped-Query Attention и распространяется в формате safetensors. Метаданные указывают на контекст до 131 072 токенов; название репозитория также содержит «64k» и «PoSE».

NVIDIA Nemotron 3.5 Lightning 30B-A3B — APEX GGUF — это набор измеренно распределённых и оптимизированных GGUF-квантизаций базовой модели NVIDIA Nemotron 3.5 Lightning 30B-A3B от NVIDIA. Рецепт APEX и инструментарий предоставлены LocalAI, а движок квантизации — llama.cpp. Модель предназначена для генерации текста, диалоговых приложений и сценариев с инструментами, включая последовательный tool-calling, при запуске через llama.cpp. Архитектура Nemotron-H гибридная: 52 слоя сочетают Mamba2 SSM и MoE, причём полное attention используется только в 6 слоях. MoE включает 128 маршрутизируемых экспертов и общий эксперт; активно используется около 3B параметров из примерно 31,6B. Контекст поддерживается до 128k токенов, а благодаря архитектуре KV-кэш занимает около 6 KiB на токен, или примерно 0,75 GiB при контексте 128k. В комплект включена MTP-голова для speculative decoding. Доступны варианты mini на 3,56 bpw и 13,66 GiB, compact на 4,42 bpw и 16,91 GiB, а также i-quality на 5,62 bpw и 21,53 GiB; compact и i-quality на момент описания ещё загружались. Сильные стороны модели — большой контекст при сравнительно небольших требованиях к памяти, специализированная importance matrix-квантизация, измеренное распределение битов по тензорам и сохранённая поддержка speculative decoding. Вариант mini рассчитан на видеокарту с 16 ГБ памяти и полный контекст 128k. Ограничения включают необходимость достаточно новой версии llama.cpp, явной настройки размера контекста и учёт того, что модель генерирует подробные рассуждения, увеличивая расход выходных токенов. Лицензия указана как openmdw-1.1.

NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 — квантизированная версия большой языковой модели NVIDIA Nemotron-Nano-3-30B-A3B, разработанная NVIDIA Corporation. Модель обучена с нуля и предназначена для генерации текста, решения задач с рассуждением и без него, а также создания специализированных AI-агентов. Она поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Модель использует гибридную архитектуру Mixture-of-Experts, включающую 23 слоя Mamba-2 и MoE, а также 6 Attention-слоёв. Всего модель содержит 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена. В каждом MoE-слое используются 128 экспертов и один общий эксперт, при этом на токен активируются 6 экспертов. Модель может сначала формировать reasoning trace, а затем итоговый ответ; режим рассуждений настраивается через chat template. Отключение промежуточных рассуждений сокращает вывод, но может немного снизить точность на сложных задачах. Размер контекста в README не указан. К сильным сторонам относятся сочетание эффективности разреженной MoE-архитектуры с возможностями рассуждения, поддержка нескольких языков и готовность к коммерческому использованию. FP8-квантизация может снизить требования к ресурсам по сравнению с полноточной версией, однако конкретные требования к оборудованию не приведены. Показатели на опубликованных тестах у FP8-версии немного ниже, чем у базовой BF16-версии, например 87,7 против 89,1 на AIME25 без инструментов и 78,1 против 78,3 на MMLU-Pro. Использование модели регулируется NVIDIA Nemotron Open Model License.

Qwen2.5-1.5B-Instruct-GPTQ-Int4 — это компактная инструкционно дообученная причинная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для чат-ботов, генерации и продолжения текста, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON, а также для задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Модель содержит 1,54 млрд параметров, 28 слоёв и использует архитектуру Transformers с RoPE, SwiGLU, RMSNorm, смещениями QKV в механизме внимания и связанными эмбеддингами слов. Применяется GQA с 12 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. GPTQ-квантизация до 4 бит уменьшает требования к памяти по сравнению с полноразмерной версией, но квантизация может влиять на качество и производительность. Модель ориентирована на локальное и ресурсо-ограниченное развертывание через библиотеку Transformers; для работы рекомендуется использовать актуальную версию библиотеки. README не содержит конкретных результатов тестов, требований к видеопамяти или показателей скорости, поэтому практические характеристики зависят от оборудования и конфигурации. Модель распространяется по лицензии Apache-2.0.

ClaudioItaly/Qwen2.5-Boster — это объединённая с помощью mergekit методом TIES языковая модель на архитектуре Qwen2 с 7,1 млрд параметров. В качестве основы использована Qwen/Qwen2.5-7B-Instruct, в слияние также включена Qwen/Qwen2.5-Coder-7B-Instruct. Модель предназначена для диалогов и генерации текста, включая задачи с кодом и структурированными ответами. Она принимает текст и выдаёт текст; контекст составляет 32 768 токенов. Модель опубликована в формате safetensors и доступна через библиотеку Transformers. Метаданные указывают интерфейс для вызова инструментов, но карточка не описывает его поведение и качество. Лицензия в предоставленных данных не указана. Результаты могут зависеть от формулировки запроса; README не приводит оценок качества или подробных ограничений модели.

unsloth/Qwen3.5-2B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-2B, основанной на Qwen/Qwen3.5-2B и подготовленной Unsloth. Модель предназначена для локального запуска, прототипирования, исследовательских задач, специализированного дообучения, программирования, агентских сценариев, вызова инструментов и работы с текстом и изображениями. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и поддерживает контекст до 262 144 токенов. Она содержит около 2 млрд параметров, 24 слоя, скрытую размерность 2048 и гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Поддерживается 201 язык и диалект. Вариант включает обучение для multi-step speculative decoding (MTP), заявленное ускорение генерации составляет примерно 1,5–2 раза при совместимом запуске через llama.cpp. К сильным сторонам относятся мультимодальность, большой контекст, компактный размер, возможность локального запуска и поддержка ускоренного декодирования, дообучения и улучшенного tool calling. Ограничения связаны с необходимостью совместимого ПО и сборки llama.cpp с поддержкой MTP; при таком режиме не поддерживаются параллельность запросов через -np > 1 и параметр --mmproj. В README также указано, что из-за масштаба модели она ориентирована прежде всего на прототипирование, специализированное дообучение, исследования и разработку. Распространение осуществляется по лицензии Apache 2.0.

AtomicChat/Qwen3.5-4B-GGUF — это набор GGUF-квантизаций базовой модели Qwen/Qwen3.5-4B, подготовленный командой Atomic Chat. Модель предназначена для локального и полностью автономного запуска задач генерации текста, включая диалоги, рассуждения, программирование и агентские сценарии. В репозитории представлены только текстовые версии без визуального проектора, поэтому изображения не поддерживаются, хотя базовая модель относится к мультимодальным моделям Text и Image. Модель содержит около 4,7 млрд параметров и 32 слоя; заявлены контекст до 262 144 токенов и словарь размером 248 320 токенов. Архитектура описана как плотный декодер с 16 attention heads и 4 KV heads. Доступны варианты квантизации от Q2_K до Q8_0, включая версии с importance matrix, которая призвана уменьшить потери качества при низкой разрядности. Вариант Q4_K_M указан как оптимальный баланс размера, скорости и качества; файлы занимают примерно от 1,9 до 4,5 ГБ. Сильные стороны модели — возможность офлайн-использования, широкий выбор квантизаций и относительно небольшие требования к памяти. К ограничениям относятся потеря качества в наиболее компактных вариантах, отсутствие поддержки изображений в данном репозитории и необходимость применять шаблон чата Qwen3.5 через параметр --jinja, иначе возможна некорректная генерация диалоговых реплик. Приведённые в README результаты являются опубликованными оценками базовой Qwen3.5-4B, а не независимыми измерениями Atomic Chat. Лицензия — Apache-2.0.

Qwen3.5-4B-GGUF — это GGUF-представление мультимодальной модели Qwen3.5-4B, разработанной командой Qwen; репозиторий подготовлен с использованием Unsloth. Модель предназначена для задач, объединяющих работу с текстом и изображениями, включая рассуждения, программирование, агентские сценарии и визуальное понимание, а также для локального запуска и дообучения. Модель представляет собой causal language model с vision encoder и содержит около 4 млрд параметров. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлены 32 слоя, скрытая размерность 2560 и гибридное сочетание линейного и gated-внимания. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект, однако конкретные языковые характеристики GGUF-квантизации в README не уточняются. К сильным сторонам относятся мультимодальность, высокая заявленная эффективность инференса, большой контекст и возможность локального использования. Ограничения связаны с тем, что README не содержит подробностей о конкретном типе и параметрах GGUF-квантизации, системных требованиях, фактической производительности и ограничениях применения; приведённые результаты относятся к базовой Qwen3.5-4B. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.5-4B-quantized.w4a16 — квантизированная версия мультимодальной модели Qwen3.5-4B, разработанная RedHatAI на основе базовой модели Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст и предназначена для задач диалогового взаимодействия, следования инструкциям, рассуждений и анализа визуального содержимого. Модель использует архитектуру Qwen3.5-4B и оптимизирована для инференса через vLLM. Веса линейных операторов в трансформерных блоках сжаты до INT4, тогда как активации сохраняют исходную точность. Vision encoder, токеновые эмбеддинги и слои linear attention остаются в формате BF16. Размер модели на диске составляет около 5,2 ГБ против 8,8 ГБ у версии BF16, что снижает требования к памяти. В конфигурации vLLM заявлена поддержка контекста до 262 144 токенов; также доступен текстовый режим с отключением визуальной части. Языки модели в README не указаны. К сильным сторонам относятся существенное уменьшение размера и требований к памяти при сохранении близких к исходной модели результатов на ряде тестов, включая GSM8k-Platinum, MMLU-Pro, IFEval и Math 500. Ограничениями являются возможное снижение качества на отдельных задачах рассуждений, заметное на AIME 2025 и GPQA Diamond, а также зависимость от совместимого окружения vLLM и связанных инструментов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Abliterated — модифицированная мультимодальная модель на базе Qwen3.8-27B, разработанная Grimxlock. Она предназначена для диалогов, генерации и анализа текста и изображений, следования инструкциям, программирования, рассуждений и многоязычных сценариев. В README указано, что базовая модель имеет размер 27 млрд параметров и работает в формате BF16; для использования заявлены Transformers, AutoProcessor и AutoModelForMultimodalLM. Точные поддерживаемые языки и размер контекстного окна не указаны. Модель создана методом targeted activation steering / ablation: из residual stream, attention- и MLP-компонентов удалялось или перенаправлялось направление, связанное с отказами. В заявленном тесте на 450 вредоносных запросах модель не отказала ни разу, при этом не было зафиксировано вырожденных ответов. По сравнению с исходной моделью отмечено небольшое ухудшение perplexity и результатов capability-бенчмарка: пройдено 14 из 15 заданий вместо 15 из 15; единственная ошибка была в простом числовом вопросе о седьмом числе Фибоначчи. Основное преимущество модели — сохранение заявленных способностей к письму, структурированному рассуждению, следованию инструкциям, программированию и многоязычной работе при существенно сниженном числе отказов. Ограничения включают возможное снижение точности и отсутствие стандартного защитного поведения, поэтому модель требует ответственного применения и дополнительного контроля результатов. В README указана лицензия Apache-2.0; поскольку это производная модель, базовые веса Qwen3.8-27B также подчиняются исходным условиям Qwen.

trohrbaugh/Qwen3.8-27B-heretic-ara — производная версия мультимодальной модели Qwen3.8-27B, изменённая методом abliteration для снижения частоты отказов. По приведённому сравнению модель не отказала ни на одном из 100 запросов, тогда как исходная модель отказала на 99 из 100; это результат конкретного теста, а не гарантия поведения на любых запросах. Модель построена на архитектуре Qwen3.5: плотная причинная языковая модель с визуальным энкодером, 27 млрд параметров, 64 слоя. Она принимает текст и изображения и предназначена для диалогов, анализа изображений и выполнения многошаговых задач; README семейства также описывает понимание видео, но метаданные этой модели подтверждают только задачу image-text-to-text. Модель унаследовала от семейства Qwen3.8 режим рассуждений с настраиваемой глубиной, поддержку длинного контекста и применение в программировании, исследованиях и профессиональных сценариях. Для базовой Qwen3.8 указаны 262 144 токена контекста с расширением до 1 000 000, но метаданные не подтверждают эти пределы отдельно для данной производной версии. Доступны веса Safetensors для Transformers и совместимых средств инференса. Лицензия — Apache 2.0. Abliteration существенно меняет поведение отказов, поэтому следует учитывать риск ответов на запросы, которые исходная модель отклоняла.

georgehenney/Qwen3-8B-heretic — производная от Qwen/Qwen3-8B-Base разговорная языковая модель на архитектуре Qwen3, доработанная методом abliteration для снижения частоты отказов. В приведённом сравнении она отказывает в 8 случаях из 100 против 86 у исходной модели; это результат конкретной оценки, а не гарантия поведения во всех запросах. Модель предназначена для генерации текста и диалогов, включая рассуждения, следование инструкциям, написание кода и многоязычные задачи, унаследованные от Qwen3. Она имеет 7,6 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 40 960 токенов. Метаданные указывают поддержку чата, а карточка базовой модели описывает переключение режимов рассуждения и поддержку более 100 языков и диалектов. Модель распространяется в формате Safetensors через Transformers по лицензии Apache-2.0. Снижение числа отказов может ослабить защитное поведение; показатели и возможности базовой Qwen3 не следует считать независимо подтверждёнными для этой производной модели.

cyankiwi/Qwen3-VL-2B-Instruct-AWQ-4bit — это 4-битная AWQ-квантизованная версия мультимодальной instruct-модели Qwen3-VL-2B-Instruct, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, а также заявлена для понимания видео, визуального рассуждения и взаимодействия с графическими интерфейсами. Она может использоваться для описания изображений, визуального и текстового анализа, OCR, STEM- и математических задач, генерации кода и выполнения агентных сценариев с инструментами. Модель относится к плотной архитектуре и имеет 2 млрд параметров в базовой версии; применённая 4-битная AWQ-квантизация снижает требования к памяти и может упростить локальное развёртывание, потенциально ценой некоторого снижения точности по сравнению с полной версией. В README указаны контекст до 256K токенов с возможностью расширения до 1M, поддержка видео с временной индексацией и OCR на 32 языках, однако конкретный список языков для данной сборки не приведён. Среди архитектурных компонентов упомянуты Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильные стороны модели — сочетание текстового и визуального понимания, анализ пространственных отношений, работа с длинным контекстом, документами и видео, а также поддержка визуального управления интерфейсами. Ограничения включают возможные потери качества из-за 4-битной квантизации и отсутствие в представленном README детальных результатов тестирования именно этой AWQ-сборки. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-32B-Instruct-GGUF — мультимодальная instruction-модель, разработанная Unsloth на основе Qwen/Qwen3-VL-32B-Instruct. Она предназначена для диалогов и генерации ответов по тексту и изображениям, а также для анализа видео, визуального распознавания, OCR, пространственного рассуждения, STEM- и математических задач, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Модель использует плотную архитектуру размером 32B параметров и поставляется в формате GGUF. Заявлены контекст длиной 256K токенов с возможностью расширения до 1M, поддержка изображений, видео и текста, а также OCR для 32 языков. Среди архитектурных особенностей указаны Interleaved-MRoPE для пространственно-временного позиционирования, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. Репозиторий также включает исправления chat template от Unsloth. Сильные стороны модели — объединённое понимание текста и визуальных данных, детальное распознавание объектов и документов, работа с длинным контекстом и видео, а также расширенные возможности пространственного и агентного рассуждения. Ограничения связаны с высокой вычислительной и памятьевой нагрузкой 32B-модели, а GGUF предполагает использование совместимого программного обеспечения для запуска; конкретные требования к ресурсам и поддерживаемые языки вне OCR в README не указаны. Модель распространяется по лицензии Apache-2.0.

airoboros-34b-3.3 — экспериментальная разговорная модель, разработанная Jon Durbin как дообучение 01-ai/yi-34b-200k. Это плотная языковая модель семейства Llama с архитектурой LlamaForCausalLM и 33,9 млрд параметров; она принимает текст и генерирует текст. Модель настроена на формат диалога Llama 2 и предназначена для многошаговых бесед, ответов на вопросы по предоставленному контексту, суммаризации, генерации кода, инструкций и структурированных аргументов для вызова функций. Обучение опирается главным образом на синтетические данные Airoboros 3.2, а также на сторонние наборы для диалогов, рассуждений, кода, суммаризации и ролевых сценариев. Хотя базовая Yi поддерживает контекст до 200 000 токенов, эту версию дообучали с длиной контекста 8 000 токенов, поэтому качество на более длинном вводе может быть ненадёжным. Автор отмечает склонность к выдумыванию ответов и рекомендует низкую температуру и явные инструкции для задач по контексту. Лицензия указана как other; конкретные условия в предоставленных данных не описаны.

airoboros-l2-70b-2.2 — экспериментальная языковая модель от Jon Durbin, дообученная на базе Llama 2 70B преимущественно на синтетических данных набора airoboros-2.2. Это плотная авторегрессионная модель примерно с 68,7 млрд параметров, рассчитанная на генерацию текста; нативное контекстное окно составляет 4096 токенов. Карточка описывает формат общения с метками USER и ASSISTANT, а также отдельный формат для ответов по предоставленному контексту. Модель предназначена для ответов на инструкции и вопросы, создания текстов, помощи с кодом и генерации структурированных аргументов функций в JSON или YAML. Она также может строить планы выполнения задач с инструментами, но сама по себе инструменты не вызывает. Обучение ориентировано на пары «инструкция — ответ» больше, чем на свободный чат или ролевые сценарии; карточка отмечает возможность переопределения системных инструкций и отсутствие де-алignment данных в этой версии. Модель доступна в формате PyTorch и распространяется по лицензии Llama 2. README характеризует её как экспериментальную и предупреждает, что ответы по контексту могут быть выдуманными; для снижения риска рекомендуется явно просить не придумывать неизвестное и останавливать генерацию перед продолжением от имени пользователя.

Dans-PersonalityEngine-V1.1.0-12b-GGUF — квантизированная GGUF-версия языковой модели Dans-PersonalityEngine V1.1.0 с 12 млрд параметров. Исходную модель разработала PocketDoc, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста общего назначения, ролевого общения, написания историй, работы с кодом, математикой, логикой, химией, биологией, климатическими и операционными сценариями, а также для задач с инструментами и функциями. Указан английский язык; поддерживается текстовая модальность и формат диалоговых сообщений ChatML. Модель дообучалась на наборах данных для ассистентских диалогов, персонажей, прозы, программирования, математических и логических задач, научных тем, следования инструкциям, вызова инструментов и работы с командами оболочки. В репозитории доступны варианты от F16 до различных уровней квантования Q4–Q8; это позволяет выбирать между качеством генерации и требованиями к памяти. README не содержит сведений об архитектуре базовой модели, размере контекстного окна, подтвержденных результатах оценки или точных ограничениях применения. Модель выпускается по лицензии Apache-2.0. К основным ограничениям относятся отсутствие заявленных количественных бенчмарков, неполная информация о поддерживаемых языках и контекстной длине, а также возможное снижение качества при использовании более сильного квантования. Для запуска рекомендуется совместимое программное обеспечение, например llama.cpp или LM Studio.

Gemma 3n E4B-it LiteRT-LM — мультимодальная instruction-tuned модель семейства Gemma, разработанная Google DeepMind на основе исследований и технологий Gemini. Она предназначена для эффективного выполнения на устройствах с ограниченными ресурсами, включая смартфоны, ноутбуки, настольные компьютеры и собственную облачную инфраструктуру. Модель подходит для ответов на вопросы, суммаризации, рассуждений, анализа изображений, а также обработки аудио- и видеоданных с генерацией текстовых ответов. Модель поддерживает текстовые, визуальные, аудио- и видеовходы и принимает контекст объёмом до 32K токенов; максимальная длина вывода составляет до 32K токенов за вычетом входных токенов. Изображения подаются в разрешениях 256×256, 512×512 или 768×768 и кодируются по 256 токенов каждое, аудио — со скоростью 6,25 токена в секунду для одного канала. Gemma 3n использует selective parameter activation и архитектуру Matformer, благодаря чему эффективный размер модели составляет около 4B параметров при меньших требованиях к ресурсам. Указанная версия доступна в формате LiteRT-LM и использует int4-квантизацию весов с float-активациями. К сильным сторонам относятся мультимодальность, возможность локального запуска и оптимизация для мобильных и других малоресурсных устройств. Модель обучалась на данных более чем на 140 разговорных языках, однако конкретный перечень языков и гарантии качества для каждого из них не указаны. Производительность зависит от устройства, аппаратного ускорения, кэширования и текущей нагрузки; приведённые benchmarks относятся к preview-версии LiteRT-LM и не гарантируют такие же результаты в других условиях. Для использования требуется принять условия лицензии Gemma Google.

GLM-4.7-Flash-RAZOR-24B-A3B-E48of64 — производная диалоговая модель семейства GLM, созданная Nickyang методом RAZOR: из 64 маршрутизируемых экспертов в каждом MoE-слое удалена четверть, осталось 48. Градиентного дообучения и восстановления после обрезки не проводилось; сохранены исходные веса оставшихся компонентов. По README, в контрольной точке 24,123 млрд параметров с учётом MTP, а метаданные каталога указывают 4,1 млрд параметров; эти значения расходятся, поэтому размер модели требует проверки. Архитектура использует GLM-4.7-Flash и реализацию glm4_moe_lite в Transformers; контекст — 202752 токена. Модель предназначена для диалоговой генерации текста, рассуждений и программирования с длинным контекстом. Сокращение пула экспертов уменьшает объём хранимых экспертных весов примерно на четверть, при этом README сообщает, что вычисления на токен практически не меняются. Контрольная точка хранится в bfloat16, в семи шардах safetensors; для запуска требуется сборка Transformers с нативной поддержкой glm4_moe_lite. Обрезка экспертов необратима и может менять разнообразие, форматирование и завершение ответов, даже если точность на отдельных задачах в целом сохраняется. Поведение на областях, далёких от конечного калибровочного корпуса, не охарактеризовано. Лицензия — MIT.

Llamaverse-3.1-8B-Instruct — плотная языковая модель семейства Llama 3.1, созданная объединением MathCoder2-Llama-3-8B и десяти специализированных моделей методом Model Stock. Она предназначена для диалоговой генерации текста и сочетает заявленные в карточке навыки математических рассуждений, программирования, биомедицинских тем, извлечения информации, повествования и ролевого общения. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст; заявленная длина контекста — 8192 токена. Модель можно применять для решения математических задач, написания и объяснения кода, создания историй и ответов на общие вопросы. Карточка также заявляет возможности в биомедицинских темах, однако предупреждает, что в важных медицинских и иных высокорисковых сценариях необходим контроль специалиста. Среди ограничений — возможные смещения и ненадёжность ответов; независимые показатели качества в карточке не приведены. Модель выпущена по лицензии Llama 3.1 Community License.

Aratako/Mixtral-8x7B-Instruct-v0.1-upscaled — экспериментальная инструктивная языковая модель, созданная автором Aratako с помощью mergekit: слои исходной mistralai/Mixtral-8x7B-Instruct-v0.1 чередуются методом passthrough. Архитектура — Mixtral MoE для генерации текста и диалогов; в репозитории указано 12,3 млрд параметров и контекст до 32 768 токенов. Модель предназначена для ответов на запросы, ведения диалога, написания текстов, извлечения сведений, программирования и рассуждений. Карточка приводит результаты MT-Bench, где модель показывает неоднородные изменения относительно исходника по отдельным категориям; это не гарантирует качества на других задачах. Указаны языки английский, французский, итальянский, немецкий и испанский. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Это экспериментальное слияние слоёв одной модели; README описывает метод и сравнительный бенчмарк, но не подтверждает независимую проверку результатов.

Hermes-4.3-36B-GGUF — это GGUF-квантизированная версия языковой модели Hermes-4.3-36B, разработанной NousResearch и подготовленной квантизатором bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и диалоговых сценариев, включая ассистирование, рассуждения, ролевое взаимодействие, работу с JSON и структурированными ответами, function calling и использование инструментов. Модель содержит 36 млрд параметров и поддерживает текстовый ввод и вывод. В карточке заявлен английский язык; контекстное окно и точная архитектура не указаны. Доступны варианты от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K, Q4_K и более компактные форматы. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но сильнее снижают качество ответов. Модель совместима с llama.cpp, LM Studio и другими проектами на базе llama.cpp. Рекомендуемые варианты позволяют выбирать баланс между качеством и потреблением памяти, однако крупные файлы требуют значительных аппаратных ресурсов. Лицензия — Apache-2.0.

Phi-3.5-mini-instruct-GGUF — это GGUF-квантизированная версия языковой модели Phi-3.5-mini-instruct, разработанной Microsoft и преобразованной компанией Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи обработки естественного языка и работы с кодом. Она запускается с использованием совместимого ПО, в частности LlamaEdge версии 0.14.0 и выше, с шаблоном запросов phi-3-chat. В README указана поддержка multilingual-сценариев и контекстное окно до 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также f16, размером примерно от 1,42 до 7,64 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые варианты с хорошим балансом размера и качества, при этом f16 обеспечивает отсутствие дополнительного квантования. Модель удобна для локального запуска и развёртывания в средах с ограниченными ресурсами, однако качество и требования к памяти зависят от выбранного варианта квантования. README не содержит подробностей об архитектуре, точном числе параметров, поддерживаемых языках и отдельных результатах оценки. Распространение осуществляется по лицензии MIT, унаследованной от исходной модели Microsoft.

Карточка модели kyoganath786/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели snacher/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

bunnycore/Qwen-2.5-7B-R1-Stock — слитая с помощью mergekit методом Model Stock языковая модель на архитектуре Qwen2. В основу объединения легла Qwen/Qwen2.5-7B-Instruct; также использованы DeepSeek-R1-Distill-Qwen-7B и модель Qwen-2.5-7b-rp-lora на базе Qwen2.5-7B-Instruct. Модель содержит 7,1 млрд параметров, работает через Transformers, распространяется в формате safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции и задачи, где полезны возможности включённых базовых моделей. Доступна на английском языке; метаданные также указывают интерфейс вызова инструментов. Лицензия и специальные ограничения применения в предоставленных данных не описаны.

Карточка модели Zidane29/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-FP8-Dynamic — квантизированная версия модели Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная пользователем mconcat. Это Qwen3.5-27B, дообученная методом distillation на данных с рассуждениями, связанными с Claude Opus, и предназначенная для генерации текста, решения сложных задач и сценариев, требующих развитого reasoning. Модель поддерживает английский и китайский языки, а также имеет визуальный энкодер, однако README не уточняет полный набор мультимодальных возможностей. Модель использует гибридную архитектуру DeltaNet и softmax attention: 64 слоя, из которых 48 используют DeltaNet, а 16 — обычное внимание; применяется GQA с 24 query-heads и 4 KV-heads. Размер скрытого представления — 5120, промежуточный размер MLP — 17408, словарь содержит 248320 токенов, максимальная длина позиции — 262144 токена. Благодаря рекуррентному состоянию DeltaNet только 16 слоёв требуют растущего KV-кэша, что повышает эффективность работы с длинным контекстом. Используется динамическая FP8 W8A8-квантизация в формате compressed-tensors: веса линейных слоёв хранятся в FP8, а чувствительные компоненты, включая lm_head, embeddings, нормы, роутеры MoE и визуальный энкодер, сохраняются в BF16. Размер модели на диске составляет около 29 ГБ, заявленная деградация perplexity относительно BF16 — около 1,4%. Для работы рекомендуется GPU с объёмом памяти от 48 ГБ, оптимально NVIDIA RTX PRO 6000 на 96 ГБ; на одной RTX 5090 модель практически не оставляет памяти для контекста. Поддерживаются vLLM, Transformers и SGLang, но не llama.cpp/GGUF; для отдельных 32-гигабайтных Blackwell GPU указаны проблемы совместимости с vLLM. Лицензия — Apache-2.0.