II.8Инженерия данных и аналитика

RedHatAI/Llama-3.3-70B-Instruct-NVFP4 — это квантизированная версия Meta-Llama-3.3-70B-Instruct, разработанная RedHatAI. Модель предназначена для коммерческого и исследовательского использования в сценариях ассистентского диалога и генерации текста. Она принимает текстовые входные данные и генерирует текстовые ответы. Модель использует архитектуру Meta-Llama-3.3 и содержит 70B параметров согласно идентификатору и базовой модели. Веса и активации линейных операторов в блоках Transformer квантизированы в формат FP4 по схеме NVFP4 с использованием LLM Compressor. Это уменьшает объём хранения и требования к памяти GPU примерно на 75% по сравнению с представлением с 16 битами на параметр. Модель подготовлена для инференса с vLLM версии 0.9.1 и выше; в README приведён сценарий развёртывания на двух GPU. Размер контекста и точные характеристики производительности не указаны. К сильным сторонам относятся существенно сниженные требования к дисковой и GPU-памяти, а также сохранение назначения исходной instruct-модели для чат-сценариев. Ограничением является возможная потеря качества из-за квантизации; README сообщает о проведённых оценках, но приведённые результаты в предоставленных данных неполны. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако указания по области применения ограничивают использование английским языком. Модель распространяется по лицензии llama3.3.

QuantFactory/Llama-3-KoEn-8B-GGUF — квантизированная версия модели beomi/Llama-3-KoEn-8B, созданная с помощью llama.cpp. Исходная модель разработана Junbum Lee (Beomi) на основе Llama 3 8B; обучение продолжалось на корпусе на корейском и английском языках при поддержке программы TRC и выполнялось на TPUv4-256. Модель предназначена для генерации текста и кода, а также для адаптации к различным задачам обработки естественного языка. Это авторегрессионная языковая модель с оптимизированной архитектурой Transformer и механизмом GQA. Доступен один вариант размером 8B параметров, с контекстом до 8k токенов и объёмом обучения более 80B токенов. На вход принимает только текст и генерирует текст или код; модель является статичной и обучена на офлайн-данных. README не уточняет конкретный формат квантизации и его влияние на производительность или качество. К сильным сторонам относятся поддержка корейского и английского языков, относительно компактный размер и возможность локального запуска благодаря квантизации. Ограничения включают статус предварительного релиза, дату отсечения знаний — июнь 2023 года, отсутствие встроенной инструкционной настройки у базовой модели и необходимость самостоятельно реализовать меры безопасности. Использование регулируется лицензией CC-BY-NC-SA-4.0 в сочетании с лицензией Llama 3 и соответствующими правилами допустимого использования; коммерческие и иные сценарии должны проверяться на соответствие этим условиям.

amd/MiniMax-M3-MXFP4-AttnFP8 — мультимодальная модель условной генерации MiniMaxM3SparseForConditionalGeneration, созданная AMD на основе MiniMaxAI/MiniMax-M3. Она принимает текст и изображения и генерирует текст, поэтому предназначена для мультимодального диалога, анализа изображений, агентских сценариев, задач программирования и работы с видео при наличии соответствующей интеграции. Поддерживаются функции вызова инструментов и рассуждений через vLLM. Модель использует разреженную MoE-архитектуру и оптимизирована для AMD MI350/MI355 с ROCm 7.1.1, PyTorch 2.10.0 и Transformers 5.2.0 в Linux. Веса квантизированы в формате OCP MXFP4, а слои self-attention — в PTPC-FP8; активации используют динамическое квантование MXFP4 и FP8 для self-attention. Языки и размер контекста в README не указаны. На тесте GSM8K модель получила 94,01 против 95,30 у исходной MiniMaxAI/MiniMax-M3, что соответствует восстановлению 98,65% исходного результата. Основные ограничения — требовательность к поддерживаемому оборудованию и программному стеку AMD, а также отсутствие в README подробных оценок мультимодальных возможностей, языковой поддержки и контекстного окна. Указана лицензия minimax-community; применяется лицензия с типом other.

Mistral 7B Instruct v0.1 в формате GGUF — языковая модель для генерации текста и выполнения инструкций, разработанная Mistral AI и преобразованная в квантизированные файлы TheBloke. Модель предназначена для диалоговых приложений, локального запуска и других сценариев, где требуется обработка текстовых запросов с использованием совместимых библиотек и пользовательских интерфейсов. Модель относится к семейству Mistral и содержит 7 миллиардов параметров. Доступны варианты квантизации от 2 до 8 бит, рассчитанные на инференс с использованием CPU и GPU. Поддерживаются llama.cpp и ряд сторонних инструментов, включая text-generation-webui, LM Studio, KoboldCpp, ctransformers и llama-cpp-python. Для форматирования запросов используется шаблон <s>[INST] {prompt} [/INST]. К сильным сторонам относятся компактность квантизированных вариантов, возможность локального запуска и широкая совместимость с экосистемой GGUF. Ограничения включают максимальную длину последовательности 4096 токенов для указанных файлов, а также возможное снижение качества при использовании более агрессивной квантизации. Поддерживаются только текстовые сценарии; сведения о языках обучения в README не указаны. Модель распространяется по лицензии Apache 2.0.

Mistral-7B-v0.3 — плотная авторегрессионная языковая модель семейства Mistral, разработанная командой Mistral AI. Это версия Mistral-7B-v0.2 с расширенным словарём; в метаданных указаны 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель предназначена для генерации текста и может служить базой для адаптации под конкретные задачи. Модель принимает текст и генерирует текст. Для запуска рекомендована библиотека mistral-inference; также приведены инструкции по использованию с Transformers. В карточке указано, что модель не имеет встроенных механизмов модерации, поэтому её ответы могут требовать отдельной проверки и фильтрации. Лицензия — Apache 2.0.

bartowski/Mistral-Large-Instruct-2411-GGUF — квантизированная версия инструкционной языковой модели Mistral Large, подготовленная bartowski. Модель предназначена для генерации текста и выполнения задач по текстовым инструкциям; формат GGUF ориентирован на использование в совместимых локальных инструментах инференса. README не содержит сведений о точном размере модели, варианте квантизации, архитектуре, длине контекста, поддерживаемых языках или дополнительных модальностях. К сильным сторонам относятся инструкционная настройка и возможность локального запуска в формате GGUF, однако количественные характеристики, требования к ресурсам, результаты тестирования и ограничения качества в предоставленных данных не указаны. Модель распространяется по Mistral AI Research License: использование, модификация и распространение разрешены на установленных лицензией условиях, но применение моделей, производных моделей и результатов ограничено исследовательскими целями. При распространении требуется сохранять текст лицензии и указанное уведомление об атрибуции.

EasierAI/Mistral-NeMo-12B — набор GGUF-квантизованных версий Mistral-Nemo-Instruct-2407, опубликованный с указанием quantized_by: bartowski и предназначенный для запуска через llama.cpp и LM Studio. Модель относится к классу генеративных текстовых моделей и поддерживает формат диалоговых запросов с шаблоном <s>[INST]{prompt}[/INST]. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях, включая чат и другие задачи обработки текста. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Архитектура, точное число параметров и размер контекста в предоставленных данных не указаны; идентификатор 12B присутствует только в названии репозитория. Доступны варианты от F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ3/IQ4, что позволяет выбирать между качеством генерации и требованиями к оперативной памяти. Квантизация выполнена с использованием imatrix и llama.cpp; некоторые варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. Более сильное сжатие уменьшает потребление памяти, но может снижать качество. Лицензия — Apache-2.0.

Mistral-Small-24B-Instruct-2501-GGUF — это набор файлов модели в формате GGUF для исходной инструкционной модели Mistral-Small-24B-Instruct-2501, разработанной компанией Mistral AI. Квантование и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и работы с инструкциями в локальных приложениях, поддерживающих GGUF, включая llama.cpp, llama-cpp-python, LM Studio и text-generation-webui. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшими требованиями к памяти и сохранением качества. В README указано обозначение 24B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекстного окна не приведены. Сильная сторона модели — возможность локального запуска с использованием CPU или GPU через совместимые инструменты; ограничения зависят от выбранного уровня квантования и аппаратных ресурсов. Распространение осуществляется по лицензии Apache 2.0.

MaziyarPanahi/Qwen2.5-14B-Instruct-GGUF — это квантованные файлы модели Qwen2.5-14B-Instruct в формате GGUF. Исходную модель разработала команда Qwen, а набор GGUF-файлов подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и локальных сценариях инференса. Формат GGUF поддерживается llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и рядом других решений. Это позволяет запускать модель локально, в том числе с ускорением на GPU и через OpenAI-совместимые серверные интерфейсы, в зависимости от выбранного инструмента. Размер исходной модели составляет 14B параметров. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью и качеством генерации. Модель относится к текстовым; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Конкретные требования к оборудованию зависят от выбранного варианта квантования. Лицензия в предоставленных данных не указана.

voodooquant/Qwen3.5-0.8B-MTP-Voodoo — это квантизированная GGUF-версия базовой модели Qwen3.5-0.8B-Base, разработанная Voodoo Quant на основе модели Qwen от Alibaba Cloud. Веса не дообучались, архитектура исходной модели не изменялась; контрольные точки предназначены для запуска в неизменённом Llama.cpp и совместимы с экосистемой GGUF. Лицензия — Apache-2.0. Модель представляет собой каузальную языковую модель с vision encoder для мультимодальных задач, включая работу с текстом и изображениями, рассуждение, программирование, визуальное понимание и агентские сценарии. Она поддерживает 201 язык и диалект, а её нативная длина контекста составляет 262 144 токена. В README также указаны поддержка multi-step training (MTP), а также рекомендации использовать модель для прототипирования, исследовательских задач и специализированного дообучения. Размер модели — 0,8 млрд параметров. Архитектура сочетает Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; модель содержит 24 слоя, скрытое измерение 1024 и контекст до 262 144 токенов. Квантизация Voodoo Quant выбирает уровень сжатия отдельно для разных тензоров, чтобы снизить размер и сохранить качество; заявлено уменьшение perplexity до 89% относительно соответствующего уровня сравнения. Ограничения включают небольшой параметрический масштаб, возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробных результатов бенчмарков или характеристик отдельных вариантов GGUF.

hamishivi выпустил дообученную версию мультимодальной модели Qwen3.5-4B в формате Transformers. Это причинная языковая модель с визуальным энкодером на 4 млрд параметров, которая принимает текст и изображения и формирует текстовые ответы. Модель поддерживает диалог, визуальное понимание и вызов инструментов через соответствующий интерфейс. Модель предназначена для ответов на вопросы по изображениям, диалоговых и рассуждающих задач, работы с длинными текстовыми контекстами и сценариев с агентами и инструментами. В README заявлены поддержка 201 языков и диалектов, контекст 262 144 токена с расширением до 1 010 000 токенов и режим рассуждения по умолчанию. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Весовые файлы совместимы с Transformers, vLLM, SGLang и KTransformers; лицензия — Apache-2.0. Изменённый шаблон чата сохраняет промежуточные рассуждения, а запуск с длинным контекстом может требовать значительных ресурсов памяти.

LinkRur/Qwen_3.5_4B_Fix — исправленная версия мультимодальной модели Qwen3.5, опубликованная в формате Transformers. Это причинная языковая модель с визуальным энкодером; в карточке указано около 4 млрд параметров, а метаданные фиксируют 3,4 млрд. Веса основаны на Qwen/Qwen3.5-4B-Base и лицензированы по Apache-2.0. Модель предназначена для диалогов, генерации и анализа текста, а также понимания изображений. Она поддерживает контекст до 262 144 токенов, расширяемый, согласно README, до 1 010 000, и широкое многоязычное покрытие: заявлены 201 язык и диалект. В README описана коррекция весов проекций ключей в восьми слоях полного внимания, призванная устранить бесконечные циклы повторения; остальные веса, по заявлению автора, не менялись. Модель подходит для мультимодальных ассистентов, вопросов по изображениям и задач с длинным контекстом. README сообщает о режиме рассуждений по умолчанию и возможностях вызова инструментов. При этом заявленные улучшения основаны на описании автора, а независимые результаты проверки исправления и подробные ограничения качества в доступных данных не приведены.

Elsephire/Qwen3.6-35B-A3B-Agents-A1-80-20-Beta — бета-версия мультимодальной модели, созданная слиянием Qwen3.6-35B-A3B и Agents-A1-35B методом Task Arithmetic с весами 80/20. В метаданных указана архитектура семейства Qwen3.5 MoE и поддержка изображений; модель предназначена для диалогов, агентных сценариев и анализа изображений. Модель принимает текст и изображения и генерирует текст. Она доступна в формате Safetensors и распространяется по лицензии MIT. README обозначает выпуск как бета-версию и приглашает к тестированию и обратной связи.

Qwen3.8-27B-nvfp4full-dflash2-NInfer — мультимодальная conversational-модель на базе Qwen3.8-27B, подготовленная в формате артефакта NInfer. В README разработчик базовой модели явно не указан; указаны исходные проекты Qwen/Qwen3.8-27B и unsloth/Qwen3.8-27B-NVFP4. Артефакт дополнен модулем DFlash2 для speculative decoding и предназначен прежде всего для запуска через форк gpillon/ninfer. Модель рассчитана на генерацию текста, диалоговые сценарии, обработку изображений и задачи coding-agent, особенно при большом числе параллельных запросов с общим системным промптом и схемами инструментов. Форк движка поддерживает повторное использование префиксов, двухуровневое хранение KV-кэша, защиту длительных сессий от вытеснения, streaming и разбор tool calls. Для общих префиксов заявлено повторное использование примерно 99% предварительного вычисления, однако эти показатели относятся к исходному форку движка, а не являются универсальной характеристикой модели. Размер модели — 27B параметров. Используется профиль весов NVFP4-full, включая 281 NVFP4-тензор и 9 BF16-тензоров-исключений; размер файла артефакта составляет около 18,07 GiB. Модуль DFlash2 представляет собой пятислойный sliding-window drafter с окном 2048 и скрытой размерностью 5120. Поддержка языков, точное максимальное контекстное окно базовой модели и фактические характеристики качества в README не указаны; упомянут 1M-context envelope движка NInfer. Главные ограничения — артефакт совместим только с NInfer и не является checkpoint для Transformers, Safetensors или GGUF. Для использования требуется форк gpillon/ninfer с поддержкой DFlash2. Указана лицензия Apache 2.0.

Sartaj Bhuvaji подготовил текстовую версию Qwen3.8-27B, удалив из Qwen/Qwen3.8-27B зрительную подсистему и преобразовав конфигурацию в Qwen3_5ForCausalLM. Это плотная гибридная авторегрессионная модель с 64 декодерными слоями: 48 слоёв линейного внимания и 16 слоёв полного внимания. В репозитории около 27,3 млрд параметров; заявленная длина контекста — 262 144 токена. Текстовые веса побайтно совпадают с исходной моделью, дообучения или переобучения не было. Модель предназначена для генерации текста и диалогового использования, включая развёртывание через Transformers, vLLM и SGLang. Удаление зрительной подсистемы исключает обработку изображений и сокращает занимаемую память примерно на 0,92 ГБ; автор также сообщает об увеличении доступной KV-кэш-памяти в конкретном тесте на H100. Лицензия — Apache-2.0. Модель не принимает изображения. Голова multi-token prediction сохранена, но не поддерживается проверенными загрузчиками; прирост скорости не гарантируется и зависит от движка, оборудования и нагрузки. Приведённые бенчмарки охватывают один H100 и ограниченный набор размеров запросов.

wangkanai/qwen3-vl-4b-instruct — мультимодальная модель на 4 млрд параметров, основанная на Qwen3-VL-4B-Instruct команды Qwen в Alibaba Cloud. В репозитории представлены веса SafeTensors и GGUF FP16; карточка описывает версию как abliterated. Лицензия — Apache-2.0. Модель принимает текст и изображения, а также предназначена для понимания видео. Она подходит для визуальных вопросов и ответов, OCR, анализа сцен и временных событий, рассуждений по изображениям, генерации кода интерфейсов и взаимодействия с графическими интерфейсами. В карточке заявлены 256K токенов контекста с возможностью расширения до 1M, OCR на 32 языках, пространственное рассуждение и привязка событий видео к временным меткам. Архитектура включает визуальный энкодер DeepStack на основе ViT и позиционное кодирование Interleaved-MRoPE. Для инференса указаны требования от 12 ГБ видеопамяти и 16 ГБ системной памяти для FP16; результаты и скорость зависят от оборудования и настроек. Заявленные возможности OCR и пространственного анализа приведены в README и не сопровождаются здесь независимыми оценками качества.

Reflection-Llama-3.1-70B-GGUF — квантизированная GGUF-версия модели Reflection-Llama-3.1-70B на базе mattshumer/ref_70_e3. Базовая архитектура относится к семейству Llama и связана с Meta Llama 3; квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, особенно задач, требующих сложного рассуждения, самопроверки и корректировки ответа. Модель имеет размер 70 миллиардов параметров и поддерживает контекст до 128 000 токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей; поддерживаемые языки в README не указаны. Доступны варианты квантизации от 2 до 8 бит в формате GGUF. Рекомендуемыми названы варианты Q4_K_M как сбалансированный по качеству и размеру, а также Q5_K_M и Q5_K_S с очень малой потерей качества. Малые варианты могут заметно снижать качество, а старые форматы Q4_0 и Q5_0 не рекомендуются по сравнению с современными альтернативами. Для работы рекомендуется использовать системную инструкцию, задающую рассуждение внутри тегов <thinking>, итог внутри <output> и исправления внутри <reflection>; также указаны рекомендуемые temperature 0,5 и top_p 0,95. Ограничениями являются большой объём файлов и высокие требования к ресурсам, особенно для вариантов с высокой точностью. Модель распространяется по лицензии llama3.1; дополнительные условия лицензии в README не приведены.

MaziyarPanahi/DeepSeek-V3-0324-GGUF — это набор файлов модели DeepSeek-V3-0324 в формате GGUF. Исходную модель разработала команда deepseek-ai, а данную GGUF-версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими решениями, включая варианты с ускорением на GPU и совместимыми API. Это делает модель пригодной для локальных чат-интерфейсов, серверов генерации текста и интеграции в приложения. В README указана 2-битная квантизация, которая может снизить требования к памяти, но потенциально сопровождается ухудшением качества по сравнению с полноразмерной моделью. В предоставленных данных не указаны архитектура, общее число параметров, поддерживаемые языки и размер контекста. Модель распространяется по лицензии MIT.

Dolphin Mistral 24B Venice Edition — языковая модель для генерации текста, разработанная Dolphin в сотрудничестве с Venice.ai на базе Mistral-Small-24B-Instruct-2501 от Mistral AI. Модель предназначена для общего назначения: диалоговых систем, ассистентов и встраивания в приложения, где владельцу нужен контроль над системным промптом, настройками выравнивания и данными. Она позиционируется как максимально неограниченная версия Mistral 24B и используется в экосистеме Venice, где представлена под названием Venice Uncensored. Модель относится к классу text-generation и совместима с Transformers, vLLM, Ollama, LM Studio, SGLang и TGI. Указан формат FP8; размер базовой модели — 24B параметров. Сохраняется стандартный chat template Mistral. Для инференса рекомендуется низкая температура, например 0,15; в примере для vLLM заявлена поддержка контекста до 131 072 токенов, вызова инструментов и изображений, однако архитектура мультимодальности и точный набор поддерживаемых языков в README не описаны. Сильная сторона модели — управляемость: системный владелец самостоятельно задаёт тон, правила поведения и ограничения, а также может разворачивать модель локально или в собственной инфраструктуре. Ограничение заключается в намеренно минимальном уровне встроенных этических и безопасностных ограничений, поэтому результаты требуют внешнего контроля и настройки политик применения. Модель распространяется по лицензии Apache-2.0.

gghfez выпустил текстовую версию Google Gemma 3 12B IT, преобразовав мультимодальную архитектуру Gemma3ForConditionalGeneration в текстовую Gemma3ForCausalLM и удалив компоненты обработки изображений. По карточке модель предназначена для генерации текста и диалогов; метаданные указывают 11,6 млрд параметров, контекст до 131 072 токенов и формат Safetensors. README приводит оценку в 4 млрд параметров, что расходится с метаданными. Модель принимает текст и выдаёт текст, а использовать её предлагается так же, как текстовую Gemma 3 1B IT. Лицензия — Gemma; модель основана на google/gemma-3-12b-it.

WhiskyAKM/Gemma-4-12B-it-qat-NVFP4-GGUF — сборка Gemma 4 12B IT от Google DeepMind, подготовленная WhiskyAKM в формате GGUF для llama.cpp и других совместимых движков. В репозитории есть варианты NVFP4 и BF16; NVFP4 уменьшает требования к памяти, а ускорение инференса на NVIDIA Blackwell зависит от совместимого оборудования и движка. Модель содержит 12 млрд параметров и мультимодальную архитектуру Gemma4ForConditionalGeneration. Модель предназначена для диалога и понимания текста, изображений и аудио с генерацией текстовых ответов; также заявлены работа с видео, многоязычность более чем на 140 языках, контекст до 256 тысяч токенов и поддержка вызова инструментов. Для обработки изображений и аудио требуется подключить файл проектора mmproj.gguf. Лицензия — Apache 2.0.

Lemer — это мультимодальная версия Gemma 4 E2B в формате GGUF, разработанная Lethean и основанная на форке LetheanNetwork/lemer. В модель встроен Lethean Ethical Kernel (LEK): его поведенческие настройки были добавлены через LoRA-файнтюнинг и объединены с весами, поэтому для работы не требуется отдельный PEFT-адаптер. Модель предназначена для диалоговых сценариев, генерации и анализа текста, а также обработки изображений и аудио, включая локальный запуск на устройствах с ограниченными ресурсами. Репозиторий содержит варианты квантования от Q3_K_M до BF16 размером примерно от 3,0 до 8,7 ГБ. Рекомендуемым указан Q4_K_M как компромисс между качеством и размером; Q3_K_M ориентирован на наиболее ограниченные устройства, а BF16 служит полноточной версией. Заявлена поддержка Ollama, llama.cpp, GPT4All, LM Studio и llama-cpp-python. Токенизатор содержит 262 тысячи токенов, однако размер контекстного окна и точный набор поддерживаемых языков в карточке не указаны. Сильными сторонами модели являются единый автономный GGUF-файл, мультимодальность, несколько уровней квантования и ориентация на локальный инференс. Ограничения включают отсутствие в README подробных результатов оценки, точных характеристик архитектуры и контекстного окна, а также потенциальные компромиссы качества при использовании квантованных вариантов. Модель распространяется по лицензии European Union Public Licence 1.2 (EUPL-1.2).

Llama-3.1-Storm-8B-GGUF — это набор GGUF-квантизаций языковой модели Llama-3.1-Storm-8B, подготовленный bartowski на базе модели akjindal53244. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и function calling. Она поддерживает текстовый ввод и вывод, а заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Архитектура и размер исходной модели обозначены как Llama-3.1 и 8B; размер контекста в README не указан. Модель распространяется в формате GGUF для запуска через llama.cpp и совместимых приложений, включая LM Studio. Доступны варианты от f32 и Q8_0 до более компактных Q2_K и IQ2_M, поэтому можно выбирать между качеством генерации и требованиями к памяти. Квантизации созданы с использованием imatrix; отдельные варианты применяют Q8_0 для embedding- и output-весов, что заявлено как способ сохранить более высокое качество. Сильными сторонами являются широкий выбор размеров файлов, локальный запуск и поддержка задач instruction following, reasoning и function calling. Ограничения зависят от выбранной квантизации: варианты с низкой битностью имеют заметно более низкое качество, а некоторые прямо не рекомендуются. Лицензия указана как llama3.1; дополнительные условия использования в README не раскрыты.

onnx-community/Llama-3.2-1B-Instruct-q4f16 — преобразованная в ONNX версия инструкционной языковой модели Meta Llama 3.2, подготовленная сообществом onnx-community для запуска через Transformers.js. Это авторегрессионный трансформер семейства Llama с плотной архитектурой, примерно 1,2 млрд параметров и контекстом до 131 072 токенов; формат репозитория — ONNX, вариант обозначен как q4f16. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для многоязычного диалога, ответов ассистента, поиска знаний с использованием агентных сценариев, суммаризации, помощи в написании текстов и переформулирования запросов. В карточке перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Инструкционные модели семейства выравнивались с помощью SFT и RLHF; заявлены коммерческое и исследовательское применение по условиям лицензии Llama 3.2 Community License. Это статичная модель с данными обучения до декабря 2023 года; качество и безопасность ответов требуют проверки в конкретном приложении.

Llama-3.2-3B-Instruct-FP8-dynamic — квантизированная версия модели Meta Llama-3.2-3B-Instruct, подготовленная Neural Magic. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная для исследовательского и коммерческого использования. Модель принимает и выдаёт текст; в карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако отдельно отмечено ограничение использования в языках, отличных от английского. Размер контекста в README не указан. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8. Для весов используется симметричная поканальная квантизация, для активаций — динамическая симметричная поточечная квантизация. Это сокращает число битов на параметр с 16 до 8, а размер модели на диске и требования к GPU-памяти примерно на 50%, что делает её подходящей для эффективного инференса через vLLM. Поддерживается OpenAI-совместимая подача через vLLM. Ключевое преимущество модели — заметное снижение потребления памяти при близком к исходной модели качестве: средний результат на указанной подвыборке OpenLLM Leaderboard составляет 50,88 против 51,70 у неквантизированной версии. В отдельных тестах восстановление качества относительно исходной модели составило 99,4–100%. Ограничения включают возможное небольшое снижение точности из-за квантизации, необходимость совместимой инфраструктуры vLLM и неоднозначность языковой поддержки из-за указанного ограничения для неанглийских языков. Лицензия — llama3.2; также необходимо соблюдать применимое законодательство и условия лицензии.

Карточка модели Openintelligent123/Meta-Llama-3.1-8B на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

GPT4All-Community/Meta-Llama-3.1-8B-Instruct-128k-GGUF — это конвертированная и квантизированная GGUF-версия Meta-Llama-3.1-8B-Instruct. Модель подготовлена пользователем 3Simplex для использования в GPT4All; для работы требуется GPT4All версии 3.1.1 или новее. Базовая модель разработана Meta, однако в README не указаны дополнительные сведения о разработчике исходной модели. Модель предназначена для генерации текста и диалоговых сценариев с системными и пользовательскими сообщениями. Заявлена длина контекста до 131 072 токенов, что позволяет обрабатывать длинные документы и продолжительные диалоги. Известно, что модель содержит 8 миллиардов параметров и использует инструкционную настройку, но сведения о поддерживаемых языках и модальностях отсутствуют. К преимуществам относятся большой контекст и возможность локального использования через GPT4All. Модель не является официально курируемой и поддерживаемой Nomic: в README указано, что требуется дополнительное тестирование и обратная связь, поэтому качество и стабильность следует оценивать в конкретных задачах. Лицензия обозначена как llama3.1; перед использованием необходимо ознакомиться с её условиями.

Карточка модели rombodawg/Meta-Llama-3.1-8B-reuploaded на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

amd/MiniMax-M3-MXFP4 — мультимодальная модель для преобразования текста и изображений в текст, созданная на базе MiniMaxAI/MiniMax-M3 и оптимизированная AMD с использованием AMD-Quark. Архитектура обозначена как MiniMaxM3SparseForConditionalGeneration и включает разреженную MoE-компоненту. Модель предназначена для мультимодального анализа, агентских сценариев, программирования и работы с видео, если соответствующая поддержка реализована используемым программным окружением. Веса и активации квантизированы в формате OCP MXFP4: для весов используется статическая, а для активаций — динамическая квантизация. Модель ориентирована на AMD MI350/MI355, ROCm 7.1.1, PyTorch 2.10.0, Transformers 5.2.0 и запуск через vLLM в Linux. Размер модели, максимальная длина контекста и список поддерживаемых языков в README не указаны. На GSM8K модель получила результат 94,19 против 95,30 у исходной MiniMaxAI/MiniMax-M3, что соответствует восстановлению 98,84% показателя исходной модели. Основные ограничения — зависимость от специализированного оборудования AMD и совместимого программного стека, а также возможная потеря качества из-за MXFP4-квантизации. Лицензия указана как minimax-community; точные условия следует уточнять в файле LICENSE.

MiroThinker-v1.0-8B-GGUF — квантованная версия языковой модели MiroThinker-v1.0-8B, разработанной miromind-ai и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста, агентских сценариев и задач deep research, включая работу в приложениях на базе llama.cpp и LM Studio. Указан английский язык. Модель содержит 8 миллиардов параметров и распространяется в нескольких вариантах точности: от BF16 до квантований Q2–Q8 и IQ. Для квантования использовался llama.cpp с методом imatrix, что позволяет уменьшить размер файлов и требования к памяти при сохранении качества; рекомендуемыми названы варианты Q4–Q6. Размер файлов составляет примерно от 3,9 до 16,39 ГБ в зависимости от формата. В README не указаны точная архитектура, максимальная длина контекста, результаты бенчмарков и дополнительные модальности, поэтому возможности модели в этих аспектах оценить нельзя. Более сильные квантования обеспечивают лучшее качество, а компактные варианты подходят для систем с ограниченной оперативной памятью, но могут заметнее терять качество. Для работы следует использовать совместимое ПО llama.cpp или LM Studio и формат промпта с маркерами ChatML. Лицензия — MIT.