II.8Инженерия данных и аналитика

Jebadiah/dolphin-hermes-stone-l3-8b-1m — слитая разговорная языковая модель на архитектуре Llama 3, созданная с помощью mergekit из cognitivecomputations/dolphin-2.9-llama3-8b-1m и NousResearch/Hermes-2-Pro-Llama-3-8B. Модель содержит 7,5 млрд параметров и предназначена для генерации текста в диалогах и ответов на инструкции. Заявленная длина контекста — 1 048 576 токенов. Модель доступна в формате safetensors и рассчитана на использование через Transformers. Карточка не сообщает о специализированной предметной области или поддерживаемых языках. Лицензия в предоставленных данных не указана.

DPOpenHermes 7B v2 GGUF — квантизированная версия языковой модели Open Access AI Collective, подготовленная TheBloke в формате GGUF. Модель основана на архитектуре Mistral, содержит около 7 миллиардов параметров и предназначена для генерации текста на английском языке, включая диалоговые и инструкционные сценарии. Модель обучалась с использованием наборов данных teknium/openhermes, allenai/ultrafeedback_binarized_cleaned и Intel/orca_dpo_pairs. Для общения используется шаблон ChatML с системными и пользовательскими сообщениями. GGUF-файлы доступны в вариантах с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией, что позволяет запускать модель с разными компромиссами между качеством, скоростью и требованиями к памяти на CPU и GPU. Модель совместима с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Ограничения включают поддержку только английского языка согласно карточке и отсутствие сведений о мультимодальности или размере контекстного окна. Лицензия — Apache 2.0.

ERNIE-4.5-300B-A47B-2Bits-TP4-Paddle — текстовая MoE-модель семейства ERNIE 4.5, разработанная Baidu и размещённая в формате SafeTensors для запуска на PaddlePaddle. Она предназначена для диалогов, понимания языка и генерации текста; README также описывает веб-поиск с передачей вопроса, даты и найденных ссылок в промпте. Модель содержит 300 млрд параметров, из которых для каждого токена активируются около 47 млрд, и поддерживает контекст до 131 072 токенов. В README говорится о мультимодальном обучении семейства ERNIE 4.5, однако эта версия обозначена как текстовая, поэтому не следует считать, что она принимает изображения. Репозиторий указывает 47,1 млрд параметров; это расходится с общим описанием 300 млрд параметров и 47 млрд активированных параметров, вероятно, из-за способа учёта параметров. Для эксплуатации README приводит пример FastDeploy с квантизацией WINT4 и параллелизмом по тензорам. Лицензия — Apache-2.0.

Это инструктивно настроенная причинная языковая модель для генерации текста и диалогов в формате чата. Репозиторий разработан latent-artist; модель построена на архитектуре Qwen2 и содержит 7,1 млрд параметров. Модель предназначена для ответов на запросы и ведения диалога через текстовые промпты. В метаданных также отмечен интерфейс для вызова инструментов. Она принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов, а карточка указывает английский язык. Веса доступны в формате safetensors, для загрузки рекомендуется библиотека Transformers. Лицензия — Apache-2.0. Карточка не сообщает результатов оценки качества или специальных ограничений применения.

Gemma-2-Ataraxy-v4-Advanced-9B — слитая автором lemon07r диалоговая языковая модель на архитектуре Gemma 2 с 9 млрд параметров. Она объединяет модели lemon07r/Gemma-2-Ataraxy-v3-Advanced-9B и zelk12/recoilme-gemma-2-Ataraxy-9B-v0.1-t0.25 методом SLERP с помощью mergekit; веса сохранены в формате safetensors, тип данных — bfloat16. Модель предназначена для генерации текста и ответов на текстовые запросы в диалоговом режиме. Заявленная длина контекста — 8192 токена. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH; они дают ориентир по оцениванию следования инструкциям и рассуждений, но не гарантируют качество в конкретном сценарии. Лицензия в предоставленных данных не указана.

unsloth/gemma-3-270m-it-qat-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3 с 270 млн параметров, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и других диалоговых сценариев, а также может анализировать изображения и выдавать текстовый результат. Модель поддерживает текстовые и графические входные данные, более 140 языков и контекст до 32 тысяч токенов для моделей размером 270M. Вариант основан на google/gemma-3-270m-it-qat-q4_0-unquantized и использует квантизацию QAT в формате GGUF, что ориентировано на запуск с пониженными требованиями к ресурсам, в том числе на локальных устройствах. Конкретные сведения об архитектуре и языковых характеристиках отдельных языков в карточке не приведены. К сильным сторонам относятся малый размер, поддержка длинного контекста, мультимодальность и возможность локального развертывания. Ограничением является существенно меньшая ёмкость модели по сравнению с крупными вариантами Gemma 3, поэтому сложные задачи и требовательные сценарии могут выполняться менее качественно. Модель распространяется по лицензии Gemma; её использование регулируется условиями Google.

voidsip/gemma-4-26B-A4B-it-abliterated-Q4_0-GGUF — это GGUF-квантизация модели Gemma 4, разработанной Google. Репозиторий voidsip содержит только конвертацию формата; базовая модель и её abliteration предоставлены Google и huihui-ai соответственно. Модель предназначена для генерации текста и поддерживает работу через llama.cpp, включая вызов инструментов. Она является reasoning-моделью и может выдавать рассуждения в поле reasoning_content перед основным ответом. Архитектура — MoE: 25,2 млрд параметров всего и около 3,8 млрд активных на токен, 128 экспертов с маршрутизацией top-8. Используется квантизация Q4_0, размер файла составляет около 13 755 MiB, все 658 тензоров сконвертированы. В README указана поддержка контекста до 64K; языки и мультимодальные возможности не описаны. Благодаря разреженной активации модель может работать существенно быстрее плотной модели сопоставимого размера; на RTX 5090 заявлены примерно 219 токенов/с при генерации и 213 токенов/с при обработке промпта. К ограничениям относятся требования к совместимому рантайму и аппаратному обеспечению. Для FreeToken на Windows нужны ninja, nvcc с настроенной CUDA_HOME и MSVC cl.exe. Abliteration удаляет исходное поведение отказа, поэтому модель может не отклонять запросы, которые отклоняла базовая версия; это не отменяет ограничений допустимого использования. Модель распространяется на условиях Gemma Terms of Use, включая Gemma Prohibited Use Policy.

urs-rs/gemma-4-26B-A4B-it-FP8-DYNAMIC — это производственная FP8-квантизованная версия инструкционной модели google/gemma-4-26B-A4B-it, разработанная на базе Gemma 4 от Google DeepMind. Квантование выполнено с помощью llm-compressor методом oneshot() с паттерном load_context(), который корректно обрабатывает объединённую структуру MoE-экспертов Gemma 4. Модель предназначена для развёртывания через vLLM, в том числе для многоходовых диалогов и голосовых AI-сценариев. Модель имеет архитектуру Mixture-of-Experts; в идентификаторе указаны конфигурация 26B и A4B, однако подробности об архитектуре, языках, модальностях и исходном размере контекста в README не приведены. Линейные слои квантизованы в FP8 по схеме W8A8: веса используют 8-битное поканальное симметричное представление, а активации — 8-битное динамическое токен-ориентированное представление. Веса маршрутизатора, нормализационные слои и lm_head сохранены в BF16 для стабильности выбора экспертов и генерации. Размер чекпойнта составляет около 13,3 GiB, что на 47% меньше версии BF16. По заявленным результатам, потери на MMLU-Pro составляют 0,26 процентного пункта относительно BF16, а заметного ухудшения качества многоходовых диалогов не обнаружено. На H100 NVL при контексте 16K заявлена максимальная конкурентность 21,3 запроса и примерно на 80% больше параллельных вызовов при сопоставимой задержке по сравнению с BF16. Ограничения включают зависимость от совместимого окружения vLLM 0.20.2rc1+ и CUDA 12.9, а также высокие требования к оборудованию: рекомендуется NVIDIA A100 40 GB или H100 80 GB. Чекпойнт распространяется по Gemma Community License, то есть на условиях лицензии базовой модели google/gemma-4-26B-A4B-it.

cyankiwi/GLM-4.6V-Flash-AWQ-4bit — 4-битная AWQ-квантизированная версия GLM-4.6V-Flash, разработанная Ton Cao на основе модели GLM-4.6V-Flash от Z.ai. Модель относится к семейству GLM-V и предназначена для локального развертывания и приложений с низкой задержкой. Это мультимодальная модель для задач image-text-to-text: она обрабатывает изображения и текст, поддерживает китайский и английский языки, а также сценарии визуального понимания документов, таблиц, графиков, интерфейсов и скриншотов. Семейство GLM-4.6V заявляет поддержку контекста до 128K токенов, мультимодального function calling, анализа многостраничных документов, генерации смешанного текстово-графического контента и восстановления HTML/CSS по скриншотам; README не уточняет, одинаково ли все эти возможности реализованы именно в данной AWQ-версии. Размер базовой GLM-4.6V-Flash составляет 9B параметров. Квантизация выполнена методом AWQ с точностью 4 бита и group size 32, с использованием llm-compressor и набора 5CD-AI/LLaVA-CoT-o1-Instruct. Заявленный объём памяти снижен примерно с 19,2 до 8,3 ГБ, что делает модель более подходящей для локального запуска. Для инференса рекомендуется vLLM; README не приводит подробных результатов бенчмарков или анализа возможной потери качества после квантизации. Модель распространяется по лицензии MIT. Для запуска указаны vLLM и актуальная версия Transformers.

GLM-4.6V-Flash-GGUF — это набор GGUF-сборок мультимодальной модели GLM-4.6V-Flash, разработанной zai-org и опубликованной пользователем prithivMLmods. Модель относится к классу vision-language и предназначена для локального развёртывания и приложений с низкой задержкой. Доступны варианты с разными форматами точности и квантования, включая F16, BF16, F32, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-варианты. Модель рассчитана на работу с текстом и изображениями, включая фотографии, скриншоты и страницы документов. Она предназначена для визуального понимания документов, таблиц, графиков и макетов, мультимодального function calling, взаимодействия с инструментами, генерации HTML/CSS по скриншотам интерфейсов и редактирования изображений по инструкциям на естественном языке. Заявлено контекстное окно до 128K токенов и около 9 млрд параметров; поддерживаются китайский и английский языки. К сильным сторонам относятся мультимодальное понимание текста, структуры страниц и визуальных элементов, возможность напрямую использовать изображения в сценариях с инструментами, а также широкий выбор квантованных вариантов для подбора баланса между качеством и требованиями к памяти. Ограничения зависят от выбранного уровня квантования: более компактные варианты требуют меньше ресурсов, но могут снижать точность. В README не приведены подробные результаты тестирования, системные требования и инструкции по запуску. Лицензия модели указана как MIT.

glm-4-9b-chat-GGUF — чат-модель семейства GLM-4 с примерно 9 млрд параметров, разработанная THUDM на базе THUDM/glm-4-9b-chat. Репозиторий содержит GGUF-квантизованные варианты, подготовленные Second State Inc., для локального запуска и интеграции с совместимыми инструментами, включая LlamaEdge. Модель предназначена для диалоговых сценариев: ведения беседы, обработки пользовательских запросов и генерации текстовых ответов. Заявлены китайский и английский языки. Для запуска через LlamaEdge указан контекст до 128 000 токенов и специальный шаблон prompt glm-4-chat; требуется LlamaEdge версии 0.12.3 или новее либо другой совместимый runtime для формата GGUF. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 3,99 до 18,8 ГБ. Более компактные варианты экономят память, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, обеспечивающие баланс между размером и качеством. Лицензия указана как glm-4 с типом other; условия следует уточнять в файле лицензии оригинальной модели.

NVIDIA GLM-5 NVFP4 — квантизированная версия языковой модели GLM-5 от Z.ai, подготовленная NVIDIA с помощью Model Optimizer. Это авторегрессионная трансформерная модель для генерации текста и диалогов; в карточке указаны 744 млрд параметров всего и 40 млрд активируемых, а метаданные каталога — 30,4 млрд параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 200 тысяч токенов и рассчитана на запуск через vLLM или SGLang на системах NVIDIA Blackwell. Модель предназначена для чат-ботов, агентных систем, RAG и других приложений на базе ИИ. Квантизация весов и активаций линейных операторов в блоках MoE в формат NVFP4 рассчитана на инференс. Карточка указывает коммерческое и некоммерческое использование; лицензия в метаданных — MIT. Ответы могут содержать ошибки, пропускать важную информацию или быть избыточными. Обучающие данные базовой модели включали токсичный язык и социальные предубеждения, которые могут проявляться в ответах; перед применением модель следует проверить на данных и требованиях конкретного сценария.

peasantsmith/gpt-oss-120b-PS-IQ4_NL.gguf — это квантизированная версия модели gpt-oss-120b от OpenAI, подготовленная PeasantSmith и BlackFrost AI в формате GGUF для задач генерации текста. Модель использует архитектуру mixture-of-experts; исходные данные README не содержат точных сведений о числе параметров активной части, поддерживаемых языках и модальностях, а также о максимальном контексте. Указано, что вариант IQ4_NL занимает около 71,75 ГБ и имеет показатель 4,91 BPW, поэтому для запуска требуется значительный объём оперативной или видеопамяти. Модель предназначена для локального применения в совместимых средствах инференса, включая llama.cpp, и подходит для диалоговой генерации, ответов на фактические вопросы, программирования и задач, требующих работы с контекстом до 8192 токенов в приведённых тестах. Разработчики сообщают об успешной проверке генерации, реализации LRU-кэша, извлечения значения из контекста длиной 8K и отсутствии ошибок выполнения. Для работы требуется учитывать специальный формат ответов harmony, а результаты тестирования не заменяют независимую оценку качества. Рекомендуемые параметры — temperature 1.0, top-k 0 и top-p 1.0. Это производная квантизация, поэтому лицензия и условия использования определяются лицензией исходной модели gpt-oss-120b от OpenAI и должны быть проверены перед распространением.

Это версия модели OpenAI gpt-oss-20b, подготовленная Richard Young с помощью Heretic v1.4.0 методом abliteration для снижения частоты отказов. Модель построена на архитектуре GPT-OSS с разреженной смесью экспертов (MoE) и предназначена для генерации текста и диалогов; её можно использовать для рассуждений, задач разработчика и агентных сценариев с вызовом инструментов. Карточка сообщает о формате Harmony и возможности менять уровень рассуждений, а также приводит результат: 77 отказов из 100 запросов против 98 у исходной модели. Метаданные указывают 1,6 млрд параметров, контекст до 131 072 токенов и веса safetensors в формате MXFP4. Это производная модель от openai/gpt-oss-20b; лицензия Apache 2.0. Меньшее число отказов не означает их полного отсутствия и не гарантирует точность ответов. Для корректной работы следует использовать формат Harmony.

Hermes-3-Llama-3.1-8B-GGUF — это квантизированная GGUF-версия языковой модели Hermes-3-Llama-3.1-8B от NousResearch, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая чат, ролевое взаимодействие, следование инструкциям, function calling и работу с JSON. Указан язык модели — английский; формат промптов основан на ChatML. Архитектура и исходный размер соответствуют Llama 3.1 с 8 млрд параметров, однако размер контекста в README не указан. Доступно множество вариантов квантизации от f32 до Q2_K и IQ2_M, что позволяет выбирать между качеством ответов, требованиями к памяти и размером файла. В качестве рекомендуемых отмечены варианты Q4_K_M, Q5 и Q6; более компактные варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать по качеству. Модель рассчитана на локальный запуск, в частности через llama.cpp и LM Studio. Лицензия указана как llama3; дополнительные ограничения и условия распространения в README не описаны.

Instruct Mixtral 8X7B V0.1 Dolly15K — это инструкционная языковая модель на архитектуре Mixtral, дообученная компанией Brillibits на наборе данных databricks-dolly-15k. Представленная версия распространяется в формате GGUF и подготовлена TheBloke с использованием квантования. Модель предназначена для генерации текста по инструкциям и может использоваться в локальных приложениях для диалога, ответов на вопросы и других задач text-generation. В названии указано 8 экспертов по 7B параметров, однако README не содержит дополнительных сведений о фактическом числе активируемых параметров, размере контекста, языках и поддерживаемых модальностях. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Формат совместим с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All и LM Studio. Сильной стороной модели является возможность локального запуска на CPU и GPU благодаря GGUF и нескольким уровням квантования. Ограничения включают возможные потери качества при сильном квантовании, а также отсутствие в README подробных результатов оценки и характеристик производительности. Лицензия модели — Apache-2.0.

DS-Archive/L3.3-70B-Magnum-v4-SE-Cirrus-x1 — диалоговая языковая модель, созданная объединением моделей Sao10K и Doctor-Shotgun с помощью SLERP и mergekit. Она построена на архитектуре Llama 3.3 с плотной конфигурацией и содержит 69,5 млрд параметров; модель предназначена для генерации текста в формате диалога и поддерживает интерфейс вызова инструментов. Нативная длина контекста — до 131 072 токенов. Модель подходит для диалоговых приложений и генерации ответов с большим контекстом. В README указаны объединённые модели и метод слияния, но не приведены результаты оценки качества, сведения о поддерживаемых языках или специальные ограничения применения. Файлы опубликованы в формате safetensors; лицензия в предоставленных данных не указана.

Abiray/LFM2.5-2.6B-Heretic-Abliterated-GGUF — набор GGUF-квантизаций модели LFM2.5-2.6B, разработанной Liquid AI, с изменениями Heretic (abliterated). Модель предназначена для локального запуска, агентских сценариев, многошагового выполнения инструкций и вызова инструментов. Версия Heretic снижает склонность исходной модели к отказам на ограниченные, спорные и явные запросы, сохраняя заявленные возможности базовой модели. Модель имеет плотную архитектуру LFM2.5 с 30 слоями: 22 блока коротких свёрток с двойным управлением и 8 слоёв GQA. Она содержит около 2,69 млрд параметров, поддерживает контекст до 131 072 токенов, словарь размером 128 000 токенов и нативный вызов инструментов. Заявлена поддержка английского, арабского, китайского, французского, немецкого, итальянского, японского, корейского, португальского, испанского, вьетнамского, тайского, индонезийского, хинди, русского и польского языков. Доступны квантизации от Q3_K_M до Q8_0 размером примерно от 1,37 до 2,87 ГБ. Q4_K_M позиционируется как оптимальный вариант для мобильных и периферийных устройств, а Q8_0 — как вариант с минимальными потерями качества для сложных задач и интенсивного использования инструментов. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству. Abliteration уменьшает защитные отказы, однако README не приводит независимой оценки безопасности, качества или стабильности поведения модели. Модель распространяется по лицензии Apache-2.0. Предусмотрен полностью офлайн-запуск на CPU или GPU через llama.cpp; для корректного диалогового режима рекомендуется использовать соответствующий шаблон чата.

LiquidAI/LFM2.5-8B-A1B-MLX-4bit — 4-битная версия модели LFM2.5-8B-A1B, разработанной Liquid AI и преобразованной в формат MLX с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста, работы в качестве персонального ассистента на локальном устройстве и сценариев, требующих поддержки function calling. Она поддерживает ChatML-подобный шаблон диалога и явное рассуждение перед финальным ответом. Модель имеет архитектуру Mixture of Experts (MoE); согласно названию базовой модели, она относится к конфигурации 8B-A1B, однако подробные архитектурные характеристики и размер контекста в карточке не указаны. Квантование выполнено до 4 бит на вес с размером группы 64 и affine-режимом, при этом routing gates MoE сохранены в 8 бит. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Сильными сторонами являются уменьшенный объём модели благодаря квантованию, пригодность для запуска через MLX и поддержка function calling. Ограничения включают возможное снижение качества из-за 4-битного квантования, а также отсутствие в предоставленной карточке подробных данных о производительности, контексте и аппаратных требованиях. Модель распространяется по лицензии LFM Open License v1.0; условия следует уточнять в файле LICENSE или карточке базовой модели.

Ling-2.6-flash-JANGTQ — квантованная версия модели inclusionAI Ling-2.6-flash, подготовленная Jinho Jang (JANGQ-AI) для запуска через MLX на компьютерах Apple Silicon. Это гибридная MoE-модель семейства Bailing-V2.5: в README указаны около 103 млрд общих параметров и 8 млрд активируемых, 32 слоя с MLA и Lightning Linear Attention, 256 маршрутизируемых экспертов и контекст до 131 072 токенов. Заявленный размер набора весов — около 30 ГБ. Модель предназначена для диалоговой генерации текста, рассуждений, вызова инструментов и многошаговых агентных задач. Квантование JANGTQ2 использует 2-битное представление для маршрутизируемых экспертов, 8-битное для ряда остальных весов и FP16 для отдельных компонентов; конфигурация рассчитана на запуск в MLX на Apple Silicon с 64 ГБ или более памяти. Метаданные указывают библиотеку MLX и лицензию MIT. README описывает шаблон чата и формат вызова инструментов, но не перечисляет поддерживаемые естественные языки.

Llama3.1-8b-Instruct-CPT-SFT-DPO-09022024 — плотная авторегрессионная языковая модель семейства Llama 3.1 с 7,5 млрд параметров, опубликованная на Hugging Face в формате safetensors для библиотеки Transformers. По названию это инструкционная модель, прошедшая этапы CPT, SFT и DPO; сведения о разработчике и подробностях обучения в карточке не приведены. Модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. Метаданные указывают контекст до 131 072 токенов. Подтверждённых сведений о поддерживаемых естественных языках, специальных прикладных областях и лицензии нет, поэтому область применения и условия распространения следует уточнять у владельца модели. Карточка не содержит результатов оценки или описания ограничений; как и другие генеративные языковые модели, она может выдавать ошибочные или необоснованные ответы.

Llama-3.1-8B-Ultra-Instruct-GGUF — это квантизированное представление инструкционной языковой модели Llama-3.1-8B-Ultra-Instruct, разработанное Dampfinchen и опубликованное в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и работы с инструкциями; её можно запускать локально через llama.cpp и LM Studio. В README также указано, что исходная модель является merge-моделью, собранной с использованием mergekit. Модель содержит 8 миллиардов параметров и работает в текстовой модальности. Для неё доступны варианты от F16 размером 16,07 ГБ до квантизаций Q4, Q5, Q6 и Q8 размером примерно от 4,92 до 8,54 ГБ. Квантизация выполнена с использованием imatrix; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как компромисс между размером и качеством. В README приведён специальный формат промпта Llama 3.1. Языки и размер контекстного окна не указаны. Сильная сторона модели — возможность локального запуска на менее мощном оборудовании благодаря нескольким уровням квантизации при сохранении высокого качества. На Open LLM Leaderboard для исходной модели указаны результаты: 80,81% на IFEval, 32,49% на BBH, 14,95% на MATH Level 5, 5,59% на GPQA, 8,61% на MuSR и 31,4% на MMLU-PRO; эти показатели зависят от методики оценки и не гарантируют аналогичные результаты конкретного квантизированного файла. Лицензия указана как llama3.

Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Это 4-битно квантованная версия инструкционной языковой модели Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на базе модели Meta Llama 3.2. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, составление и преобразование текста. Формат ориентирован на использование с экосистемой MLX; в метаданных также указана совместимость с библиотекой Transformers. Модель относится к текстовым, одномодальным моделям и содержит около 3 млрд параметров. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Ключевая особенность — 4-битное квантование, которое снижает требования к памяти и может облегчать локальный запуск, но потенциально ограничивает точность по сравнению с полноразмерной версией. Длина контекста и другие характеристики архитектуры в представленном README не указаны. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на безвозмездной основе при соблюдении её условий, включая передачу текста лицензии, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные требования.

ark4004/llama3.8-27b-uc-fp8-jh — размещённая пользователем на Hugging Face производная модель семейства Qwen3.8-27B; точный автор исходной модификации и метод её создания в карточке не указаны. Репозиторий предназначен для генерации текста и мультимодальных сценариев, включая работу с изображениями; доступны интеграции с Transformers, vLLM и SGLang. Модель содержит около 28 млрд параметров и использует формат FP8 F8_E4M3 с отдельными компонентами BF16. По назначению исходной Qwen3.8-27B она ориентирована на понимание текста, изображений и видео, программирование, мультимодальное рассуждение, обработку длинного контекста, вызов инструментов и агентские задачи. Для конкретной производной модели длина контекста, поддерживаемые языки, результаты тестирования и точные архитектурные особенности не указаны, поэтому её сильные и слабые стороны относительно исходной модели надёжно оценить нельзя. Для репозитория указана лицензия Apache-2.0. FP8-квантизация может снизить требования к памяти и ускорить инференс по сравнению с полноточными весами, но потенциально влияет на качество; количественные данные о таком влиянии отсутствуют. Модель не была доступна через провайдеров инференса на момент проверки.

LLM-jp-4-33b-thinking — плотная трансформерная языковая модель семейства Llama, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Она предназначена для диалогов, генерации ответов и решения задач с рассуждением на японском и английском языках; поддерживает интерфейс вызова инструментов. Модель содержит 32,2 млрд параметров, имеет 64 слоя и контекст до 65 536 токенов. Она обучалась на этапах предварительного и промежуточного обучения на 11,7 трлн токенов, затем прошла SFT и выравнивание DPO без обучения с подкреплением. Доступна в формате Safetensors для Transformers, лицензия — Apache-2.0. Разработчики отмечают, что модель находится на раннем этапе исследований и разработок и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Для корректной работы следует использовать приложенный токенизатор: он отличается от предположений библиотеки openai-harmony, несмотря на совместимость шаблона диалога с Harmony.

Meta-Llama-3-8B-Instruct-GGUF-special-tokens — инструкционная языковая модель семейства Llama 3, разработанная Meta и представленная в формате GGUF пользователем bartowski. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. Суффикс special-tokens указывает на вариант с поддержкой специальных токенов, однако подробности преобразования в GGUF в README не приведены. Известно, что модель ориентирована на английский язык и относится к классу text-generation. Размер модели — 8B параметров; архитектура Llama 3, точная конфигурация контекста и сведения о модальностях в представленном README не указаны. Модель является текстовой, поэтому описание мультимодальных возможностей отсутствует. Вариант GGUF обычно предназначен для локального запуска совместимыми средствами, но конкретные требования к оборудованию и производительности не приведены. Модель может быть полезна благодаря инструкционной настройке и относительно компактному размеру по сравнению с более крупными моделями, однако качество и применимость зависят от используемой сборки и сценария. Ограничения включают отсутствие подтверждённых сведений о поддерживаемых языках помимо английского, контекстном окне, квантовании, бенчмарках и безопасностных характеристиках. Распространение и использование регулируются Meta Llama 3 Community License: необходимо соблюдать условия лицензии, Acceptable Use Policy и требования к атрибуции, включая указание «Built with Meta Llama 3» при соответствующих формах распространения.

nm-testing/Meta-Llama-3-8B-Instruct-W8-Channel-A8-Dynamic-Asym-Per-Token-Test — тестовый квантованный вариант Meta Llama 3 8B Instruct, размещённый организацией NM Testing; исходную модель разработала Meta. Репозиторий предназначен для генерации текста и диалоговых сценариев и поддерживает использование через Transformers, vLLM и SGLang. Суффикс W8-Channel-A8-Dynamic-Asym-Per-Token указывает на 8-битное представление весов и динамическое асимметричное квантование активаций по токенам; точные характеристики реализации квантования и результаты её оценки в карточке модели не описаны. Базовая модель представляет собой авторегрессионный языковой model с оптимизированной архитектурой Transformer и Grouped-Query Attention, содержит около 8 млрд параметров, принимает только текст и генерирует текст и код. Контекст составляет 8 тысяч токенов, модель ориентирована прежде всего на английский язык и диалог с инструкциями. Она подходит для чат-ассистентов, генерации и обработки текста, но является статической моделью с ограниченным актуальным знанием и не поддерживает мультимодальный ввод. Квантованный вариант может снизить требования к памяти и повысить эффективность инференса, однако по доступным данным нельзя надёжно оценить влияние именно этой тестовой конфигурации на качество, скорость и совместимость. Для исходной Meta Llama 3 действует специальная коммерческая лицензия Meta Llama 3 Community License с ограничениями по распространению, допустимому использованию и политике безопасности; применимость этих условий к квантованному производному варианту следует проверять отдельно.

Это набор GGUF-квантизированных версий instruct-модели meta-llama/Llama-3.1-8B-Instruct, подготовленный командой featherless-ai-quants. Модель относится к задачам генерации текста и предназначена для диалоговых сценариев, следования инструкциям и локального или серверного запуска в совместимых средах, поддерживающих формат GGUF. В основе лежит языковая модель Llama 3.1 с 8 миллиардами параметров; README не уточняет архитектуру, языки и размер контекстного окна. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. Более компактные варианты снижают требования к памяти, тогда как версии с более высокой точностью потенциально лучше сохраняют исходное качество, но требуют больше ресурсов. Сильной стороной набора является выбор уровней квантизации для разных аппаратных ограничений и сценариев развертывания. Ограничения включают возможные потери качества из-за квантизации и необходимость использовать совместимое программное обеспечение для GGUF. Лицензия в README не указана; условия использования следует уточнять по лицензии исходной модели Llama 3.1 и условиям распространения данного набора.

Millie 1.1 — мультимодальная языковая модель с поддержкой изображений от LLMs For All, представленная в формате GGUF для локального запуска на устройствах с ограниченной памятью. Это MoE-модель примерно с 35 млрд параметров и 3 млрд активных параметров на токен; около 90% весов хранятся в троичном представлении, остальные тензоры используют более высокую точность. Для обработки изображений предусмотрен отдельный файл vision encoder/projector, который можно не устанавливать при работе только с текстом. Модель основана на Qwen/Qwen3.6-35B-A3B и подходит для диалогов, ответов на вопросы по изображениям и локального мультимодального помощника. В приведённой авторами оценке результаты близки к исходной модели на MMLU Redux и HumanEval+, а на GPQA Diamond заметно ниже; измерения выполнены в отдельных запусках и не гарантируют аналогичных результатов в других сценариях. Репозиторий распространяется по лицензии Apache-2.0.