II.4Отладка, тестирование и качество ПО

cyankiwi/Qwen3.5-2B-AWQ-4bit — 4-битная AWQ-квантизированная версия мультимодальной модели Qwen3.5-2B, основанной на Qwen/Qwen3.5-2B и разработанной командой Qwen. Модель предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования и агентских сценариев. Формат совместим с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, использует архитектуру causal language model с vision encoder, гибрид Gated Delta Networks и разреженной Mixture-of-Experts, 24 слоя и контекст до 262 144 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация AWQ до 4 бит снижает требования к памяти и может повысить эффективность инференса, однако возможны потери качества по сравнению с полноразмерными весами; точные характеристики квантизации и результаты бенчмарков именно этой сборки в README не приведены. Основные сценарии использования — прототипирование, исследовательские и разработческие задачи, а также предметно-ориентированное дообучение. Небольшой размер облегчает локальное и экономичное развертывание, но ограничивает максимальную глубину и надежность результатов по сравнению с более крупными моделями. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR публикует квантованную в NVFP4 модель Qwen3.5-9B-Instruct в формате GGUF. Это мультимодальная модель семейства Qwen на 9 млрд параметров для диалога и выполнения инструкций; карточка указывает поддержку генерации текста, понимания изображений, рассуждений и генерации кода. В архитектуре сочетаются GQA и MLA, чередование блоков SSM (Mamba-2), а для изображений используется визуальный энкодер SigLIP ViT с мультимодальным проектором. Режим рассуждений по умолчанию выключен. Квантование NVFP4 рассчитано прежде всего на ускорение инференса на GPU NVIDIA Blackwell с 4-битными тензорными ядрами. В репозитории есть текстовая модель размером 5,31 ГБ и проектор изображений F16 размером 0,92 ГБ. Для запуска с изображениями README описывает использование llama.cpp и отдельного файла проектора. Метаданные указывают лицензию Apache-2.0. Модель подходит для диалоговых помощников, ответов на вопросы об изображениях, программирования и многоязычных текстовых задач. README рекомендует традиционные форматы квантования для оборудования до поколения Blackwell, GPU AMD и CPU; качество и скорость этой сборки на иных конфигурациях не охарактеризованы. Языковая поддержка включает английский, китайский и другие языки, но основной язык для этой сборки не выделен.

Это квантованная GGUF-сборка Qwen3.6-35B-A3B от автора xero0000, подготовленная для запуска целиком в видеопамяти. Вариант vram13 занимает 12,98 ГБ; README также описывает вариант с дополнительной MTP-головой размером 13,53 ГБ. Базовая модель — MoE с 35 млрд параметров, а базовый файл поддерживает контекст до 256 тыс. токенов; вариант MTP — до 128 тыс. токенов. Сборка предназначена для генерации текста и диалогов, в том числе для работы с кодом, на системах с ограниченной видеопамятью. Веса экспертов преимущественно квантованы в 2 бита с использованием imatrix и выборочной защиты чувствительных слоёв; внимание, SSM-проекции и некоторые общие тензоры имеют более высокую точность. Автор приводит замеры скорости и перплексии на двух видеокартах, однако результаты зависят от оборудования и программной среды. Ожидается некоторое снижение качества на сложных и редких случаях по сравнению с квантованиями Q4-класса. Вариант MTP использует голову, перенесённую из дообученной модели, поэтому выигрыш скорости зависит от содержания текста; совместимость этой сборки и MTP-файла зависит от загрузчика. Лицензия — Apache-2.0.

kingjones777/Qwen3.8-Flash-Next-ROCmFP4-FAST-GGUF — это квантизированная GGUF-версия модели Qwen3.8-Flash-Next, разработанная сообществом Qwen и адаптированная kingjones777 для запуска на AMD Ryzen AI Max+ 395 с интегрированной графикой Radeon 8060S, архитектурой Strix Halo и GPU-целью gfx1151. Модель предназначена для генерации текста, включая рассуждения, создание JSON, программирование и суммаризацию документов. Модель использует архитектуру qwen4exp и формат ROCmFP4; обычная версия llama.cpp её не загружает. Для работы требуется специальная ветка ROCmFPX с поддержкой qwen4exp и ROCmFP4, а также совместимая сборка для ROCm. В README указана проверка работы с контекстом до 128K, однако размер модели, точный перечень поддерживаемых языков и модальности не приведены. Доступен speculative decoding через MTP-head, который может повышать скорость генерации, но результат проверяется основной моделью; эффективность зависит от типа задачи и настроек. Сильная сторона модели — возможность запуска крупной модели на системе с общей памятью CPU и GPU, включая длинный контекст и аппаратные оптимизации для AMD. Ограничения включают необходимость специального runtime и патчей, зависимость производительности от пропускной способности общей памяти, а также непредсказуемый выигрыш от MTP: в приведённых измерениях он ускорял часть сценариев, но замедлял другие. Лицензия указана как qwen-community-1.0.

Qwen3-VL-4B-Thinking — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen и представленная в виде репозитория весов. Она принимает изображения и текст и формирует текстовые ответы; версия Thinking предназначена для задач, где требуется визуальное и логическое рассуждение. Модель работает через библиотеку Transformers, поддерживает диалог и интерфейс вызова инструментов. Контекст составляет 256 тысяч токенов с возможностью расширения до 1 миллиона. Модель предназначена для распознавания и анализа изображений, OCR, понимания видео, пространственных вопросов, STEM-задач и взаимодействия с графическими интерфейсами. README также описывает генерацию разметки Draw.io и кода HTML/CSS/JS по изображениям и видео. Среди заявленных особенностей — обработка временных меток в видео, распознавание текста на 32 языках и объединение визуальной и текстовой информации. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Размер модели — 4 млрд параметров. Это компактная плотная модель, однако для обработки изображений, видео и длинного контекста нужны соответствующие вычислительные ресурсы. В карточке не приведены количественные результаты бенчмарков; заявленные возможности не заменяют проверку качества на конкретных данных и сценариях.

QwenSelfMerge — языковая модель, созданная сообществом mergekit путём объединения фрагментов Qwen/Qwen2.5-72B-Instruct методом passthrough. По метаданным, это плотная авторегрессионная архитектура Qwen2 с 32,8 млрд параметров; модель использует Transformers и формат safetensors, поддерживает контекст до 32 768 токенов и интерфейс диалога с вызовом инструментов. Модель предназначена для генерации текста и диалоговых сценариев, унаследованных от Qwen2.5-72B-Instruct, включая структурированные ответы, программирование и математику. В README описана сборка из нескольких диапазонов слоёв той же базовой модели; карточка не приводит отдельных результатов оценки качества. Лицензия в предоставленных данных не указана.

Fulcrum-AI представляет Ryze-Mistral-Nemo-Instruct-2407-8 — текстовую генеративную модель на архитектуре MistralForCausalLM, полученную слиянием весов через passthrough mergekit на основе mistralai/Mistral-Nemo-Instruct-2407. В репозитории указаны 20,1 млрд параметров, формат safetensors и контекст до 1 024 000 токенов. Модель предназначена для диалога, генерации текста, выполнения инструкций и сценариев с интерфейсом вызова инструментов. Базовая Mistral Nemo — многоязычная инструктивная модель Mistral AI и NVIDIA; модель можно применять для общения и генерации текста на поддерживаемых ею языках. README не описывает отдельную специализацию или результаты оценки именно этого слияния. Лицензия в предоставленных данных не указана.

Solar Open2 250B — Nota NVFP4 — это 4-битная квантованная версия большой языковой модели Solar Open2 250B, разработанной Upstage и подготовленной Nota AI с использованием собственной технологии квантования Mixture-of-Experts (MoE). Модель предназначена для генерации текста и может обслуживать задачи рассуждения, программирования, следования инструкциям, работы с англоязычными и корейскоязычными заданиями, а также другие сценарии применения больших языковых моделей. В заявленных метаданных указаны английский, корейский и японский языки; модальность — текстовая. Размер контекста в README не указан. Модель использует формат NVFP4 с 4-битным квантованием весов и активаций (W4A4), group_size=16 и упаковкой compressed-tensors для прямого запуска через vLLM. Заявленный объём весов составляет 153,3 ГБ против 500,6 ГБ у версии BF16. Ключевое преимущество — существенно меньшие требования к памяти и более высокая пропускная способность при близком к BF16 качеству на приведённых тестах; средний результат составил 81,35 против 81,57 у BF16. Ограничение — необходимость GPU архитектуры NVIDIA Blackwell с поддержкой FP4 tensor cores, например B200 или GB200; Hopper, Ada и Ampere не поддерживаются. Для развёртывания требуется vLLM и Blackwell-класс GPU. Модель распространяется по лицензии Upstage Solar License. Для производных моделей указаны требования использовать префикс Solar в названии, размещать заметную атрибуцию «Built with Solar» в публичных материалах и включать копию лицензии Upstage Solar.

Larryvrh опубликовал версию Yi-6B-200K от 01.AI, преобразованную для совместимости с архитектурой Llama и удобства использования. Это плотная авторегрессионная языковая модель с примерно 5,8 млрд параметров и контекстом до 200 000 токенов, распространяемая в формате Safetensors. Она предназначена для генерации текста, включая ответы на вопросы, понимание длинных текстов, рассуждения, математику и задачи по коду; карточка описывает оценивание на наборах MMLU, CMMLU, C-Eval и других бенчмарках. Модель поддерживает китайский и английский языки. Лицензия — Apache-2.0. Результаты генерации могут быть ошибочными или проблематичными; в README также отмечено, что оценки бенчмарков зависят от промптов, постобработки и настроек декодирования.

Zen Pro — диалоговая языковая модель общего назначения, разработанная Hanzo AI и Zoo Labs Foundation на основе Qwen/Qwen3-8B. Это плотный авторегрессионный трансформер семейства Qwen3 с 7,6 млрд параметров, дообученный с обучением идентичности Hanzo, данными для агентных сценариев и abliteration. Модель предназначена для генерации текста, диалога, рассуждений и анализа; доступна через API Hanzo и в формате Transformers с весами safetensors. Модель принимает текст и генерирует текст. Контекстное окно составляет 40 960 токенов. В метаданных указан английский язык; базовая Qwen3-8B описана как многоязычная, но основным языком Zen Pro в карточке заявлен английский. Модель выпущена по лицензии Apache-2.0. Карточка отмечает, что чекпойнт архивирован и уступил место поколению zen5.

AfriqueQwen3.5-4B-ExtendedCM — плотная причинная языковая модель из набора AfriqueLLM, разработанная для улучшения работы с африканскими языками. Это вариант Qwen/Qwen3.5-4B-Base, адаптированный продолженным предобучением примерно на 34 млрд токенов; в расширенном варианте увеличена доля данных по программированию и математике. Модель содержит 4 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев, в том числе на африканских языках, а также для задач рассуждения, кода и математики. README указывает адаптацию для 20 африканских языков и сохранение возможностей на английском, французском, португальском и арабском; метаданные дополнительно перечисляют африкаанс, амхарский, хауса, игбо, суахили, йоруба и другие языки. Модель распространяется под лицензией CC BY 4.0. Базовая архитектура Qwen3.5 мультимодальная, однако в карточке этой версии подтверждены генерация текста и диалоговые возможности, а не обработка изображений.

jondurbin/airoboros-110b-3.3 — экспериментальная чат-модель Джона Дурбина, дообученная на базе Qwen1.5-110B преимущественно на синтетических данных Airoboros. Это плотная авторегрессионная языковая модель с архитектурой Qwen2ForCausalLM; она использует шаблон диалога ChatML и принимает текстовые запросы. По метаданным, размер модели — 110 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы по предоставленному контексту, суммаризации, генерации кода, следования инструкциям и выдачи аргументов для вызова функций в JSON или YAML. Карточка описывает настройку для контекстных ответов, призванную ограничивать ответы сведениями из источника, а также планирование многошагового выполнения задач; для контекстных запросов рекомендуется низкая температура. Автор отмечает, что иногда в конце ответов появляются лишние токены. Репозиторий содержит веса в формате safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели. Автор характеризует модель как экспериментальную; карточка не приводит количественных оценок качества.

cyankiwi/diffusiongemma-26B-A4B-it-AWQ-INT4 — квантованная версия DiffusionGemma на базе google/diffusiongemma-26B-A4B-it, разработанной Google DeepMind. Это мультимодальная модель с открытыми весами, которая принимает текст, изображения и видео, а генерирует текст. Представленная версия использует квантование AWQ INT4 и занимает около 17,23 ГБ. Модель предназначена для генерации текста, рассуждений, диалоговых сценариев, обработки мультимодальных запросов и задач, связанных с STEM и агентными системами. Она применяет дискретную диффузию: вместо последовательной генерации токенов модель итеративно восстанавливает блоки токенов, что может повышать скорость вывода. Архитектура включает encoder-decoder с двунаправленным вниманием в декодере и разреженную Mixture-of-Experts-конфигурацию: 25,2 млрд параметров всего, 3,8 млрд активных параметров, 30 слоёв и 8 активных экспертов из 128. Заявлены контекст до 256 тысяч токенов, окно скользящего внимания 1024 токена и длина генерируемого блока 256 токенов. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Модель оптимизирована для инференса с небольшим размером пакета и низкой задержкой, преимущественно на одном производительном ускорителе; режим рассуждений и системные промпты поддерживаются. Ограничение развертывания — отсутствие поддержки внутримодельного тензорного и конвейерного распараллеливания; для нескольких GPU рекомендуется репликация через data parallelism. Лицензия — Apache 2.0.

Dirk-Qwen3.8-27B-MLX-oQ4e — это квантизированная версия базовой модели Qwen3.8-27B от Qwen, подготовленная peculiar-ragdoll для запуска на Apple Silicon через MLX и совместимые среды, включая oMLX и mlx-vlm. Модель предназначена для текстовых и визуальных запросов, генерации ответов, анализа изображений, агентного программирования и других сценариев, где важны скорость, компактность и экономное использование токенов. Модель представляет собой плотную vision-language модель с 27 млрд параметров, поддерживает английский и китайский языки, сохраняет vision tower и MTP head для multi-token-prediction и speculative decoding. Используется смешанная imatrix-калиброванная квантизация oQ4e примерно 4,9 bpw; размер модели составляет около 15,8 ГБ, что позволяет запускать её на Mac с 24 ГБ памяти с запасом под контекст. Заявлено окно контекста до 262 144 токенов при использовании соответствующей настройки runtime. В комплект включён Sharp chat template v22.5.0 с компактным стилем ответов и управляемым уровнем reasoning_effort от low до xhigh; по умолчанию используется medium. Сильные стороны модели — поддержка изображений без отдельного projector-файла, возможность ускорения генерации с помощью MTP, компактные ответы и адаптация под локальный запуск на Apple Silicon. Ограничения связаны с потерями точности, характерными для квантизации, зависимостью от совместимого vision loader и runtime, а также с тем, что заявленные собственные benchmark-результаты ещё находятся в процессе измерения. Для корректной работы рекомендуется mlx-vlm версии 0.6.3 или новее; mlx-lm использовать не следует. Модель распространяется по лицензии Apache-2.0.

Dirk-Qwen3.8-27B-MLX-oQ6e — это квантизированная MLX-версия базовой модели Qwen/Qwen3.8-27B, разработанная автором peculiar-ragdoll. Модель представляет собой плотную vision-language модель с поддержкой текста и изображений, ориентированную на работу на компьютерах Apple Silicon через MLX и совместимые среды, включая oMLX и mlx-vlm. Заявленная языковая поддержка включает английский и китайский языки. Модель использует смешанную квантизацию oQ6e с калибровкой imatrix и размером около 22,1 ГБ, примерно 6,9 бит на вес. Веса, vision tower и MTP-head сохранены; MTP может применяться для speculative decoding и ускорения генерации в совместимых runtime. Максимальное окно контекста в примере конфигурации составляет 262144 токена. В комплект включён Sharp chat template v22.5.0, который по умолчанию задаёт компактные ответы и средний уровень рассуждений; уровень reasoning effort можно менять от low до xhigh, а рассуждения — отключать. Модель предназначена для диалогов, анализа изображений, программирования, агентских сценариев и задач, где важны краткость и скорость получения ответа. К её сильным сторонам относятся сохранённая мультимодальность, поддержка MTP, готовый шаблон чата и несколько уровней глубины рассуждений. Ограничения связаны с требованиями к памяти: вариант oQ6e рассчитан примерно на системы с 32 ГБ памяти, а MTP поддерживается не всеми загрузчиками. Для корректной работы требуется использовать mlx-vlm версии не ниже 0.6.3, а не mlx-lm. README также приводит предварительные результаты бенчмарков, которые ещё находятся в процессе измерения, поэтому их нельзя считать окончательными. Модель распространяется по лицензии Apache-2.0.

Sci-fi-vy/gemma-3-270m-it-GGUF — модель Gemma 3 270M от Google DeepMind, представленная в формате GGUF. Это instruction-tuned вариант базовой модели google/gemma-3-270m-it, предназначенный для генерации текста по инструкциям и запросам. Модель подходит для ответов на вопросы, суммаризации документов, рассуждений, работы с кодом и других задач генерации текста. Семейство Gemma 3 поддерживает текстовые и графические входы с генерацией текста, однако для вариантов 270M в карточке явно указан контекст до 32K токенов, а параметры обработки изображений для этой размерности не описаны. Заявлена поддержка более 140 языков; обучающие данные включали веб-тексты, код, математические материалы и изображения. Дата отсечения знаний — август 2024 года, размер модели — 270 млн параметров. Небольшой размер облегчает локальное развёртывание на компьютерах с ограниченными ресурсами и в собственной облачной инфраструктуре, но по возможностям и качеству модель может уступать более крупным вариантам Gemma. Для работы рекомендуется использовать temperature 1.0, top_k 64, top_p 0.95 и min_p 0.0. Модель распространяется на условиях лицензии Gemma; точные условия следует уточнять в официальных Terms of Use.

Goku-8x22B-v0.1 — дообученная MaziyarPanahi версия v2ray/Mixtral-8x22B-v0.1 на наборе philschmid/guanaco-sharegpt-style. Это диалоговая языковая модель с архитектурой Mixtral типа Mixture of Experts; в карточке указаны 22 млрд параметров, а README приводит конфигурацию на 141 млрд параметров, из которых активны 35 млрд. Контекст составляет до 65 536 токенов, модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев: ответов на вопросы, работы с длинным контекстом, написания кода и задач на рассуждение. В метаданных перечислены английский, французский, итальянский, немецкий и испанский языки. Модель распространяется по лицензии Apache-2.0. Карточка сообщает о тестировании на перечисленных сценариях, но не приводит результатов бенчмарков; качество для математики и программирования отдельно не подтверждено.

granite-4.2-8b-MLX-8bit — 8-битная квантованная версия модели granite-4.2-8b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии рассуждений, «thinking» и вызова инструментов. В README указаны следующие языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель имеет 8 миллиардов параметров в исходной версии; конкретное значение контекстного окна и сведения о мультимодальности не указаны. Ключевые преимущества — сниженное потребление памяти благодаря 8-битному представлению и оптимизация для Apple Silicon. Ограничения включают зависимость от совместимой MLX-среды и возможное появление неточного, вредного или неподходящего контента. Модель распространяется по лицензии Apache-2.0. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность, доступность или соответствие конкретным требованиям.

mlx-community/K2-Horizon-7B-bf16 — конверсия модели IFM/K2-Horizon-7B в формат MLX с точностью bf16, подготовленная сообществом mlx-community для компьютеров Apple silicon. Это плотная авторегрессионная модель семейства K2-Horizon с 7B параметров по README и 8B по метаданным; она поддерживает контекст до 524 288 токенов и предназначена для диалогов и генерации текста, включая работу с длинными запросами. В карточке описаны проверки соответствия реализации PyTorch и тестовые примеры генерации. Модель подходит для ответов на вопросы, рассуждений, помощи с кодом и обработки длинных текстов. Конверсия выполнена без квантизации, поэтому веса занимают около 18 ГБ; с учётом памяти для KV-кэша длинный контекст требует существенно больше оперативной памяти. Для запуска указана библиотека mlx-lm и необходимость доверенной загрузки кода модели в некоторых версиях. Лицензия — Apache-2.0.

L3.1-Moe-4x8B-v0.2 — языковая модель архитектуры Mixture of Experts, созданная автором moeru-ai с помощью mergekit-moe. Она объединяет четыре модели на базе Llama 3.1: Llama-3.1-SuperNova-8B-Lite_TIES_with_Base, Llama-3.1-8B-ArliAI-RPMax-v1.2, rombos_Replete-Coder-Instruct-8b-Merged и Llama-3.1-8B-Squareroot-v0. В каталоге указано 7,5 млрд параметров и контекст до 131 072 токенов; модель предназначена для генерации текста в диалоговом формате, включая ответы на инструкции и генерацию кода. Модель распространяется в формате safetensors и использует библиотеку Transformers. В README приведены результаты оценивания на Open LLM Leaderboard, включая среднее значение 17,47 и результат 54,07 на IFEval (0-shot). Лицензия — Llama 3.1; перед использованием следует соблюдать её условия. Карточка не описывает детально языковое покрытие и ограничения качества.

mlx-community/Meta-Llama-3.1-70B-Instruct-4bit — 4-битная квантованная версия инструкционной большой языковой модели Llama 3.1, разработанной Meta и адаптированной сообществом mlx-community для экосистемы MLX. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые сценарии, ответы на вопросы, подготовку и преобразование текстов и другие задачи обработки естественного языка. Известно, что модель содержит 70 миллиардов параметров и работает в формате 4-bit quantization, что снижает требования к памяти по сравнению с полноразмерной версией и делает локальный запуск более доступным при совместимом оборудовании и программном обеспечении. Заявлены поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. В карточке указаны библиотеки Transformers и MLX, однако архитектура и размер контекстного окна не уточнены. Модель подходит для локального инференса и приложений, где важны качество инструкционного следования и многоязычная генерация. К ограничениям относятся высокие вычислительные требования, обусловленные размером 70B, возможные потери качества из-за 4-битного квантования и отсутствие в предоставленных данных сведений о мультимодальности, точных характеристиках производительности и контекстном окне. Использование регулируется Llama 3.1 Community License от Meta: при распространении материалов или производных продуктов требуется соблюдать условия лицензии, включая указание «Built with Llama», сохранение уведомления об авторских правах и Acceptable Use Policy; для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

unsloth/Meta-Llama-3.1-70B-Instruct-bnb-4bit — это 4-битно квантованная версия Meta-Llama-3.1-70B-Instruct, подготовленная с использованием экосистемы Unsloth. Базовую модель разработала Meta; в карточке указано, что Unsloth предоставляет квантованный вариант и инструменты для более эффективного дообучения. Модель предназначена для генерации текста и диалоговых сценариев, включая создание виртуальных ассистентов, обработку инструкций и адаптацию под специализированные наборы данных. Модель относится к семейству Llama 3.1, содержит 70 миллиардов параметров и использует архитектуру decoder-only Transformer, характерную для этой серии. Указан основной язык English; поддержка других языков в карточке не заявлена. Формат bnb-4bit снижает требования к памяти по сравнению с полноразмерной моделью, что может упростить локальный запуск и дообучение, однако потенциально сопровождается потерей качества относительно исходной версии и требует совместимого программного и аппаратного окружения. Сведения о размере контекста, мультимодальности и точных характеристиках инференса отсутствуют. Модель распространяется по лицензии Llama 3.1. Перед использованием необходимо учитывать условия этой лицензии и требования совместимого стека, включая Transformers и поддержку 4-битной загрузки.

Meta-Llama-3.1-8B-Instruct — инструктивно дообученная языковая модель семейства Llama 3.1, разработанная Meta. Это плотная авторегрессионная модель на архитектуре Transformer с 7,5 млрд параметров; версия Instruct прошла supervised fine-tuning и обучение с обратной связью от людей. Репозиторий содержит веса в формате safetensors, модель предназначена для генерации текста и диалогов с помощником. Окно контекста — 131 072 токена. Модель рассчитана на многоязычный диалог, ответы на вопросы, написание и преобразование текста, а также может использоваться в приложениях и для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель принимает и выдаёт текст; поддержка инструментов зависит от интеграции разработчиком. Модель выпущена Meta 23 июля 2024 года. Лицензия — Llama 3.1 Community License с условиями использования и Acceptable Use Policy; перед коммерческим применением необходимо ознакомиться с её условиями. Это статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться между языками, а карточка не заявляет поддержку русского языка.

Карточка модели vy22215/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

MLX-совместимая 8-битная версия Meta-Llama-3.1-8B-Instruct, опубликованная сообществом mlx-community и основанная на модели Meta Llama 3.1. Это текстовая генеративная языковая модель с инструкционным дообучением, предназначенная для диалогов, выполнения текстовых инструкций и создания текстов. Модель работает в формате text-generation и ориентирована на использование в экосистеме MLX. В названии указаны размер 8B параметров и 8-битное квантование, которое обычно позволяет снизить требования к памяти по сравнению с полноформатными весами, однако конкретные показатели производительности и качества в README не приведены. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о других модальностях и размере контекстного окна отсутствуют. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, указание атрибуции и требований к маркировке продуктов. Для распространения материалов необходимо предоставить текст лицензии и отображать обозначение «Built with Llama»; для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено отдельное лицензионное условие.

joshnader/Meta-Llama-3.1-8B-Instruct-Q4_K_M-GGUF — это квантизированная версия Meta-Llama-3.1-8B-Instruct в формате GGUF, подготовленная для запуска с llama.cpp и совместимых инструментов. Базовую модель разработала Meta. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание и преобразование текста, а также другие задачи обработки естественного языка. Модель содержит 8 миллиардов параметров и использует квантизацию Q4_K_M, что уменьшает требования к памяти по сравнению с полной версией и делает её более подходящей для локального запуска. Указанные языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель работает только с текстом; сведения о размере контекстного окна и точной архитектуре в карточке не приведены. К сильным сторонам относятся инструкционное обучение, поддержка нескольких языков и возможность эффективного локального инференса благодаря формату GGUF и квантизации. Ограничения связаны с возможным снижением качества относительно моделей без квантизации, а также с тем, что модель может генерировать неточные или нежелательные ответы. Использование регулируется Llama 3.1 Community License от Meta; при распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая требования об атрибуции, отображении «Built with Llama» и соблюдении Acceptable Use Policy.

Mica Spark-X2.5-4B — производная модель XHToken/Spark-X2.5-4B, опубликованная Miguel Amendez в виде артефактов для Mica runtime. Это диалоговая многоязычная языковая модель класса 4B для генерации текста; архитектура сочетает один слой полного внимания и три слоя с окном скользящего внимания. В README заявлен контекст до 1 048 576 токенов, включая вход и выход, однако он не подтверждён локальными испытаниями Mica на длинных последовательностях. Репозиторий содержит варианты MLX Q4 и Q8, GGUF Q4_K_M и Q8_0, а также safetensors. На Apple M4 варианты MLX прошли проверки генерации и серверного инференса, а GGUF — проверки инференса на Metal. Модель можно применять для диалогов и генерации текста на разных языках; базовая модель также предназначена для кода, рассуждений, перевода и агентных задач. Лицензия исходной модели и производных артефактов — Apache-2.0. Заявление о контексте в миллион токенов не подтверждено испытаниями Mica: для практического использования следует опираться на сертифицированный лимит выбранного профиля. Варианты vLLM не опубликованы как производственные артефакты, а локальные проверки не подтверждают работу на всех платформах и режимах.

Карточка модели sagar-rasakonda/Mistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой mistralai/Mistral-7B-Instruct-v0.2, поэтому описание составлено по ней. Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

MaziyarPanahi/Mistral-7B-Instruct-v0.3 — версия Mistral-7B-Instruct-v0.3, размещённая Maziyar Panahi. Это плотная языковая модель Mistral на 7,1 млрд параметров, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов и генерации ответов на текстовые запросы, включая сценарии с вызовом функций. Модель поддерживает контекст до 32 768 токенов и использует формат safetensors. Модель подходит для чат-ботов, ответов на вопросы, следования инструкциям и генерации текста. В README указаны расширенный словарь токенизатора и поддержка function calling. Карточка предупреждает, что у модели нет механизмов модерации, поэтому её ответы могут не соответствовать требованиям к ограничению контента. Лицензия — Apache-2.0.

Это текстовая конверсия Mistral Small 3.1 Instruct 24B в формат Hugging Face Transformers, опубликованная пользователем mrfakename. Репозиторий содержит только текстовую часть исходной модели и не поддерживает обработку изображений. Модель предназначена для диалогов и генерации текста по инструкциям. Она использует плотную архитектуру MistralForCausalLM, содержит 23,4 млрд параметров и имеет контекст длиной 32 768 токенов. Для хранения весов используется safetensors; модель доступна по лицензии Apache-2.0. Возможности и ограничения конверсии зависят от текстовой части исходной Mistral Small 3.1 Instruct 24B: этот репозиторий не подходит для задач с изображениями. README не приводит отдельной информации о поддерживаемых языках.