I.3Извлечение и структурирование данных

FINAL-Bench_Darwin-28B-Opus-GGUF — GGUF-квантизации модели Darwin-28B-Opus, разработанной FINAL-Bench и подготовленной квантизатором bartowski. Модель создана как эволюционное объединение Qwen/Qwen3.6-27B и варианта Qwen3.6-27B с дистиллированным стилем рассуждений Claude Opus. Она предназначена для генерации текста, решения сложных задач и углублённого рассуждения, включая сценарии, требующие пошагового анализа и режима thinking. В основе лежит плотная архитектура поколения Qwen3.6 с гибридным сочетанием линейного и полноформатного внимания: 64 слоя, соотношение три линейных слоя к одному слою полного внимания, размер скрытого состояния 5120 и 27,6 млрд параметров в исходной BF16-версии. Заявлены поддержка английского, китайского, корейского и японского языков, а также многоязычных сценариев. Точная длина контекста в карточке не указана и унаследована от базовой модели. Для GPQA Diamond заявлена точность 88,89% по протоколу адаптивной оценки из трёх этапов, однако результат помечен как непроверенный. Сильные стороны модели — крупный объём параметров, ориентация на продвинутое рассуждение и сочетание возможностей Qwen3.6 с дистиллированным стилем Claude Opus. Ограничения включают высокие требования к ресурсам по сравнению с небольшими моделями, отсутствие точных сведений о длине контекста в данной карточке и то, что доступные GGUF-квантизации являются статическими, без imatrix. Модель распространяется по лицензии Apache 2.0.

Это модель Sentence Transformer на базе Snowflake/snowflake-arctic-embed-l, дообученная для преобразования предложений и абзацев в плотные текстовые эмбеддинги. Архитектура включает BERT, pooling по CLS-токену и нормализацию; размерность выходного вектора — 1024, максимальная длина входа — 512 токенов. Для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска и сопоставления текстов. Её также можно применять для поиска перефразирований, кластеризации и классификации текстов на основе эмбеддингов. В README приведены результаты оценки информационного поиска, а обучение описано как дообучение на 194 примерах с MatryoshkaLoss и MultipleNegativesRankingLoss. Модель разработана на основе Snowflake/snowflake-arctic-embed-l. Лицензия в предоставленных данных не указана.

Mungert/gemma-3n-E2B-it-GGUF — инструкционная мультимодальная модель семейства Gemma 3n, разработанная Google DeepMind и представленная в формате GGUF. Репозиторий создан с использованием llama.cpp. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и поддерживает обработку текста, изображений, видео и аудио с генерацией текстовых ответов. Архитектура использует MatFormer и технологию выборочной активации параметров: фактический размер модели составляет около 6 млрд параметров, но за счёт выгрузки редко используемых матриц требования к памяти сопоставимы с традиционной моделью эффективного размера 2 млрд параметров. Поддерживаются изображения с разрешением 256×256, 512×512 или 768×768, аудио одного канала, кодируемое со скоростью 6,25 токена в секунду, и общий контекст до 32 тысяч токенов. Максимальная длина вывода также составляет до 32 тысяч токенов за вычетом токенов входного запроса. Модели Gemma 3n обучались на данных более чем для 140 разговорных языков. Модель подходит для ответов на вопросы, суммаризации документов, анализа изображений, аудио и видео, а также для других инструкционных и мультимодальных сценариев. К сильным сторонам относятся сочетание нескольких модальностей и сниженные требования к ресурсам; при этом в карточке не приведены результаты тестов, точные параметры GGUF-квантизации и подробные сведения о поддерживаемых языках. Использование регулируется лицензией Gemma и условиями Google; доступ к исходной модели на Hugging Face требует принятия условий лицензии.

onnx-community/gemma-3n-E2B-it-ONNX — ONNX-версия инструкционной мультимодальной модели Gemma 3n E2B IT, разработанной Google DeepMind и подготовленной для использования с Transformers.js. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и принимает текстовые, графические, видео- и аудиовходы, генерируя текстовые ответы. Она подходит для вопросов и ответов, суммаризации, анализа изображений и видео, распознавания речи и автоматического перевода речи. Модель использует архитектуру MatFormer и технологию выборочной активации параметров. При общем размере около 6 млрд параметров её эффективный размер соответствует примерно 2 млрд параметров, поскольку матрицы с низкой частотой использования могут выгружаться с ускорителя. Изображения обрабатываются в разрешениях 256×256, 512×512 или 768×768 и кодируются в 256 токенов каждое; аудио представляется со скоростью 6,25 токена в секунду для одного канала. Максимальный входной контекст составляет 32 тысячи токенов, а суммарная длина генерации — до 32 тысяч токенов за вычетом входа. Обучение проводилось на данных более чем 140 разговорных языков. К сильным сторонам относятся сочетание мультимодальности, компактного эффективного размера и возможности локального выполнения через Transformers.js, включая сценарии с WebGPU. Ограничения включают зависимость от поддерживаемого окружения ONNX и Transformers.js, а также отсутствие в предоставленной карточке подробных результатов бенчмарков, точного перечня языков и количественной оценки качества по отдельным задачам. Модель распространяется на условиях лицензии Gemma; применяются соответствующие Terms of Use Google.

gemma-4-31B-it-Mystery-Fine-Tune-HERETIC-UNCENSORED-Thinking-GGUF — модель на базе Gemma 4 31B, дообученная автором DavidAU с использованием Unsloth и закрытых датасетов. Модель позиционируется как инструкционная и рассуждающая, с минимальными ограничениями на тематику, и выпускается в форматах GGUF с вариантами квантования Q4KS и Q6. Для запуска требуется LLAMACPP версии b8641 или новее. Модель предназначена для диалогов, генерации и продолжения художественных текстов, ролевых сценариев, программирования, анализа и других универсальных задач. Поддерживаются текстовые запросы, а благодаря добавленным mmproj-файлам также обработка изображений. Заявлены режимы instruct и thinking; в режиме thinking внутренние рассуждения оформляются специальными каналами, которые приложение должно корректно отображать. Максимальный контекст, указанный для этой модели, составляет 128K токенов. README также ссылается на возможности Gemma 4: работу с изображениями, документами, видео, функциями и многоязычными запросами; для семейства заявлена поддержка более 35 языков «из коробки». Сильными сторонами являются большой размер модели, длинный контекст, мультимодальность, генерация кода и художественного текста, а также заявленное превосходство над базовой моделью в шести из семи внутренних тестов. Ограничения включают использование закрытых датасетов, наличие нерешённых проблем конвейера и контроля качества, ограниченный набор квантований на момент публикации и возможный перевыпуск файлов после дополнительного обучения. Рекомендуемые параметры генерации: temperature 1.0, top_k 64 и top_p 0.95. Лицензия — Apache 2.0.

Giga Embeddings 0826 3B GGUF — модель для получения текстовых эмбеддингов, основанная на ai-sage/Giga-Embeddings-instruct-3B-0826. GGUF-версии независимо конвертированы и квантованы командой ai-babai; это не официальный релиз ai-sage. Модель ориентирована прежде всего на русский и английский языки и предназначена для локального запуска через llama.cpp и Ollama. Модель подходит для семантического поиска, RAG, оценки сходства текстов, кластеризации, классификации и retrieval-сценариев. Она использует двунаправленную архитектуру, возвращает нормализованные эмбеддинги размерностью 2048 и применяет mean pooling, заданный в метаданных GGUF. Для поиска рекомендуется добавлять инструкцию к запросам, а документы кодировать как обычный текст; для симметричных задач следует использовать одинаковую инструкцию для обеих сторон или не использовать инструкции. Доступны варианты BF16, Q8_0, Q6_K и Q4_K_M. Q8_0 указан как рекомендуемый баланс качества и размера, BF16 является эталонной высокоточной версией, а Q4_K_M — экспериментальным облегчённым вариантом. Модель предназначена только для эмбеддингов и не генерирует текст. Приведённые авторами показатели MTEB относятся к исходной BF16-модели, тогда как полный независимый прогон MTEB для GGUF-версий не выполнялся. Модель распространяется по лицензии MIT.

GPT-4o — мультимодальная модель OpenAI, принимающая текст и изображения и формирующая текстовые ответы. Название «omni» отражает поддержку нескольких типов входных данных; в доступной карточке заявлены текстовый и визуальный ввод. Модель подходит для диалога и ответов на вопросы по тексту или изображениям, например для описания изображений и анализа визуальной информации. По метаданным каталога её задача — image-text-to-text. Карточка также сравнивает её уровень интеллекта с GPT-4 Turbo, но не содержит завершённых сведений о размере, контекстном окне, языках и лицензии.

GPT-4o — мультимодальная модель OpenAI, представленная 13 мая 2024 года. Она принимает текст и изображения и формирует текстовые ответы. Модель предназначена для диалога и задач, где нужно понимать текст вместе с визуальным содержимым, например отвечать на вопросы об изображениях. Доступные сведения указывают на поддержку изображений и текста; детали архитектуры, число параметров и длина контекста здесь не приведены.

Это конвертированная в формат GGUF версия модели GTE-large, опубликованная пользователем opaninakuffo. GTE-large — модель для получения векторных представлений текста и задач поиска по семантическому сходству; её можно применять для создания эмбеддингов, поиска и ранжирования текстов. Метаданные репозитория указывают тег feature-extraction, формат GGUF и лицензию MIT. По названию репозитория предполагается сохранение весов в FP16 с разбиением на части. Поиск не позволил проверить карточку модели и подтвердить подробности о языках, контексте и ограничениях.

Instella-3B-Long-Instruct — языковая модель AMD на 3 млрд параметров для диалогов и работы с длинным контекстом. Она основана на Instella-3B-Instruct и прошла дополнительное обучение: расширение контекста, дообучение на инструкциях и оптимизацию предпочтений. Архитектура — плотная авторегрессионная InstellaForCausalLM; модель принимает текст и поддерживает контекст до 131 072 токенов. Модель подходит для ответов на вопросы по длинным документам, анализа больших текстовых массивов, суммаризации и диалоговых сценариев, в том числе связанных с книгами и кодом. AMD сообщает о конкурентных результатах на бенчмарках длинного контекста по сравнению с рядом небольших моделей с открытыми весами. Многоязычные возможности не проверялись, поэтому надёжность работы на языках, отличных от основных данных обучения, не установлена. Модель опубликована в формате Safetensors под лицензией «other»; конкретные условия следует сверить с карточкой и файлами лицензии репозитория. Разработчик предупреждает о возможных фактических ошибках, токсичных, предвзятых или вредоносных ответах и не рекомендует применять модель в критически важных, медицинских или требующих высокой достоверности сценариях. Указанное в README ограничение на исследовательское использование само по себе не меняет категорию зрелости модели.

jina-embeddings-v2-base-zh — двуязычная модель текстовых эмбеддингов, разработанная Jina AI. Она предназначена для получения векторных представлений текста на китайском и английском языках и рассчитана на одноязычный и межъязыковой поиск, включая поиск китайских документов по английскому запросу и наоборот. Модель использует архитектуру JinaBERT на основе BERT с двунаправленным вариантом ALiBi и поддерживает контекст до 8192 токенов. В репозитории указано около 160,1 млн параметров; модель создаёт плотные векторы, для формирования эмбеддингов рекомендуется mean pooling. Подходит для семантического поиска и сценариев RAG, где нужно находить близкие по смыслу фрагменты на китайском и английском языках. Модель распространяется по лицензии Apache-2.0. Для загрузки из Hugging Face требуется авторизация, поскольку доступ к репозиторию ограничен; при использовании через Transformers README также указывает на необходимость включить trust_remote_code.

primitive-ai/K2-Horizon-MoVA-36B-A4B-NVFP4 — это квантованная версия модели IFM/K2-Horizon-MoVA-36B-A4B, подготовленная командой Primitive AI. Модель предназначена для генерации текста, рассуждений и сценариев с вызовом инструментов; поддерживает использование через Transformers и vLLM. Архитектура — MoE с 36B параметров и 4B активируемых параметров. Модель имеет контекст до 32 768 токенов и рассчитана на запуск на одной видеокарте без tensor parallelism. Языки и мультимодальные возможности в README не указаны. Веса 13 500 маршрутизируемых экспертных проекций представлены в формате NVFP4, остальные компоненты сохранены в BF16. Размер модели составляет 36,74 ГБ — примерно вдвое меньше BF16-версии и на 24% меньше официальной FP8-версии. По приведённым измерениям, уровень знаний и способность воздерживаться от неподходящих вызовов инструментов сопоставимы с BF16 и FP8, а пропускная способность при высокой конкуренции выше официальной FP8-версии. Слабее всего пострадала точность аргументов при выполняемых вызовах инструментов: она ниже FP8 примерно на 3,1 процентного пункта. Сборка совместима с GPU архитектур Ampere и Blackwell, включая проверенный запуск на NVIDIA A100 40 ГБ, и предназначена для компактного локального или серверного развертывания. Для работы требуется версия vLLM из main или nightly с поддержкой K2-Horizon; стабильные релизы до 0.28.1rc1.dev388 эту поддержку не содержат. Режим рассуждений выбирается на уровне сервера. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Kimi-K2.6-FP8-BLOCK — мультимодальная модель, разработанная RedHatAI на основе moonshotai/Kimi-K2.6 с архитектурой KimiK25ForConditionalGeneration. Она принимает текст, изображения и видео, а генерирует текст. Модель предназначена для диалоговых и прикладных сценариев, включая следование инструкциям, рассуждения, вызов функций, агентные задачи и программирование. Модель использует FP8-квантизацию весов с блочным масштабированием и динамическую групповую FP8-квантизацию активаций. Она экспортирована в формате compressed-tensors и оптимизирована для высокопроизводительного развёртывания через vLLM с OpenAI-совместимым API. В README не указаны размер модели и поддерживаемые языки; заявленная максимальная длина контекста в конфигурации оценки составляет 40960 токенов, однако это не представлено как официальная характеристика модели. По приведённым оценкам, модель показывает сильные результаты в математическом и академическом рассуждении, следовании инструкциям и вызове функций. Ограничения включают заметно более низкие результаты на многошаговом function calling, web search и SWE-Bench Lite, а FP8-квантизация может влиять на точность по сравнению с исходной моделью, несмотря на высокое сохранение качества в большинстве указанных тестов. Для использования требуется окружение vLLM и параметр --trust-remote-code. Лицензия указана как modified-MIT; дополнительные условия в README не раскрыты.

Карточка модели hyuksoo1009/klue-roberta-base-klue-sts на Hugging Face совпадает с карточкой dyryu/klue_roberta-base-klue-sts, поэтому описание составлено по ней. dyryu/klue_roberta-base-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa, разработчик которой не уточнён в карточке. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 137,8 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Для работы доступны веса в формате safetensors и библиотека sentence-transformers. При обучении использовалась функция потерь CosineSimilarityLoss. Метаданные указывают задачи sentence-similarity и feature-extraction; основное назначение для пользователя — поиск семантически похожих предложений. Карточка не сообщает лицензию, поэтому условия использования по ней определить нельзя.

Карточка модели JeongWoo-P/klue-roberta-base-klue-sts на Hugging Face совпадает с карточкой dyryu/klue_roberta-base-klue-sts, поэтому описание составлено по ней. dyryu/klue_roberta-base-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa, разработчик которой не уточнён в карточке. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 137,8 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Для работы доступны веса в формате safetensors и библиотека sentence-transformers. При обучении использовалась функция потерь CosineSimilarityLoss. Метаданные указывают задачи sentence-similarity и feature-extraction; основное назначение для пользователя — поиск семантически похожих предложений. Карточка не сообщает лицензию, поэтому условия использования по ней определить нельзя.

Карточка модели choiwonjin/klue-roberta-base-klue-sts-mrc на Hugging Face совпадает с карточкой Jinsol0802/klue-roberta-base-klue-sts-mrc, поэтому описание составлено по ней. Jinsol0802/klue-roberta-base-klue-sts-mrc — модель эмбеддингов предложений на архитектуре RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения близости текстов и кластеризации. Обучение с MultipleNegativesRankingLoss оптимизирует сходство косинусной мерой; размер модели — 137,8 млн параметров, максимальный контекст — 514 токенов. Модель рассчитана на работу с текстом и подходит для поиска похожих фрагментов и группировки семантически близких текстов. Идентификатор и название базового семейства указывают на ориентацию на корейский язык KLUE, однако в доступной карточке отдельный список поддерживаемых языков не приведён. Ограничения: представление текста сведено к вектору, поэтому модель сама не генерирует ответы; качество поиска и сравнения зависит от соответствия домена и данных. Файлы представлены в формате safetensors; лицензия в предоставленных сведениях не указана.

Карточка модели letzdev/klue-roberta-base-klue-sts-mrc на Hugging Face совпадает с карточкой Jinsol0802/klue-roberta-base-klue-sts-mrc, поэтому описание составлено по ней. Jinsol0802/klue-roberta-base-klue-sts-mrc — модель эмбеддингов предложений на архитектуре RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения близости текстов и кластеризации. Обучение с MultipleNegativesRankingLoss оптимизирует сходство косинусной мерой; размер модели — 137,8 млн параметров, максимальный контекст — 514 токенов. Модель рассчитана на работу с текстом и подходит для поиска похожих фрагментов и группировки семантически близких текстов. Идентификатор и название базового семейства указывают на ориентацию на корейский язык KLUE, однако в доступной карточке отдельный список поддерживаемых языков не приведён. Ограничения: представление текста сведено к вектору, поэтому модель сама не генерирует ответы; качество поиска и сравнения зависит от соответствия домена и данных. Файлы представлены в формате safetensors; лицензия в предоставленных сведениях не указана.

KRONOS-8B-V3 — языковая модель, созданная командой T145 слиянием нескольких предварительно обученных моделей методом TIES в mergekit; базой слияния служит unsloth/Meta-Llama-3.1-8B. В состав также вошли mukaj/Llama-3.1-Hawkish-8B, KRONOS-8B-V1-P1, KRONOS-8B-V1-P3 и Meta-Llama-3.1-8B-Instruct. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров. Модель предназначена для генерации текста и диалогов, а также имеет интерфейс для вызова инструментов. Поддерживает контекст до 131 072 токенов. В карточке приведены результаты оценок на IFEval и BBH, но сведений о поддерживаемых естественных языках и лицензии нет. Доступные веса размещены в формате safetensors.

T145/KRONOS-8B-V5 — объединённая языковая модель, созданная автором репозитория методом TIES с помощью mergekit. В качестве основы использована unsloth/Meta-Llama-3.1-8B; в объединение также вошли mukaj/Llama-3.1-Hawkish-8B, T145/KRONOS-8B-V1-P2, T145/KRONOS-8B-V1-P3 и unsloth/Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, рассчитанная на генерацию текста и диалоги. Она принимает текст и генерирует текст, поддерживает интерфейс вызова инструментов и контекст до 131 072 токенов. Карточка приводит результаты Open LLM Leaderboard, включая среднее значение 25,43 и IFEval 54,05; они характеризуют оценивание, но сами по себе не гарантируют качество в конкретных задачах. Лицензия в предоставленных данных не указана. Как и другие генеративные языковые модели, она может выдавать неточные или неподходящие ответы; результаты оценивания ограничены указанными тестами.

Linkbricks-Horizon-AI-Japanese-Pro-V6-70B — языковая модель, дообученная директором по данным Linkbricks Юнсоном Джи (Saxo) на основе Saxo/Linkbricks-Horizon-AI-Japanese-Advanced-V2-70B. Это плотная модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов, предназначенная для генерации текста в диалоге и работы с инструментами через function calling. Модель обучалась с помощью SFT, DPO и слияния весов на корпусах японских новостей и Википедии, а также на задачах с японским, корейским, китайским и английским языками. В карточке заявлено усиление для анализа отзывов клиентов и публикаций в социальных сетях, письма, программирования, математики и логических рассуждений; среди обучающих задач также указаны перевод, суммаризация и ответы на вопросы. Доступна в формате Safetensors для Transformers. Модель распространяется по лицензии Apache-2.0. Заявленные языковые и прикладные возможности приведены в карточке модели; независимые результаты оценки качества и дополнительные ограничения там не описаны.

Модель Linkbricks-Horizon-AI-Japanese-Superb-V1-22B разработал директор по данным Linkbricks Джи Юнсон (Saxo) на базе Saxo/Linkbricks-Horizon-AI-Korean-Superb-22B. Это плотная авторегрессионная модель семейства Mistral на 22 млрд параметров; её дообучали на японском языке методами SFT и DPO, затем объединили веса. Карточка заявляет контекст 128 тысяч токенов, однако метаданные указывают штатный контекст 32 768 токенов. Модель предназначена для диалогов, генерации и редактирования текста, анализа отзывов и публикаций в социальных сетях, программирования, математических и логических задач, а также межъязыковых сценариев с японским, корейским, китайским и английским языками. Заявлена поддержка вызова функций и инструментов. В обучении использовались японские новости и вики-корпус, а также данные для перевода, суммаризации, вопросов и ответов и других задач. Модель распространяется в формате Safetensors под лицензией Apache 2.0. Заявленные в карточке возможности и качество не сопровождаются результатами независимой оценки; контекст 128 тысяч токенов расходится с параметрами штатного контекста в метаданных.

NVIDIA Llama 3.1 405B Instruct FP8 — версия Meta Llama 3.1 405B Instruct, квантизованная NVIDIA до FP8 с помощью TensorRT Model Optimizer. Это плотная авторегрессионная Transformer-модель семейства Llama с примерно 403,7 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Окно контекста составляет до 131 072 токенов. Модель предназначена для диалоговых систем и генерации ответов по инструкциям, а также для инференса через TensorRT-LLM или vLLM. По данным README, FP8-квантизация весов и активаций линейных операторов в блоках трансформера уменьшает требования к диску и видеопамяти примерно вдвое; на H200 заявлено ускорение примерно в 1,7 раза. README указывает совместимость с NVIDIA Blackwell, Hopper и Lovelace. Модель построена на базе Meta-Llama-3.1-405B-Instruct и не является разработкой NVIDIA: README уточняет, что NVIDIA подготовила её под требования конкретного сценария. Лицензия — Llama 3.1; карточка заявляет готовность к коммерческому и некоммерческому использованию в рамках её условий.

amd/Llama-3.1-8B-Instruct-w-int8-a-int8-sym-test — это вариант Llama 3.1 8B Instruct, опубликованный AMD. Он предназначен для генерации текста, диалоговых ассистентов и других задач обработки естественного языка; инструкционно дообученная версия оптимизирована для многоязычного общения. Вариант содержит 8 млрд параметров и использует 8-битное симметричное квантование весов и активаций; на странице модели также указаны форматы BF16 и I8. README этого репозитория пуст, поэтому характеристики квантования следует считать основными подтверждёнными сведениями именно об этом варианте, а не результатами отдельной оценки качества. Базовая Llama 3.1 разработана Meta и представляет собой авторегрессионную модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Она работает с текстом на входе и выдаёт многоязычный текст и код, поддерживает контекст до 128 тысяч токенов и заявленные языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback; модель поддерживает диалоговые сценарии и tool use. Квантование может снизить требования к памяти и ускорить инференс на совместимом оборудовании, но конкретные показатели качества, скорости и совместимости для этого тестового репозитория не указаны. Использование регулируется Llama 3.1 Community License от Meta, а также Acceptable Use Policy. Лицензия допускает коммерческое и исследовательское применение при соблюдении её условий, включая требования к распространению и маркировке; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено отдельное лицензионное условие.

Llama-3_1-Nemotron-51B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Llama-3.1 Nemotron 51B-Instruct от NVIDIA, подготовленная пользователем ymcki. Модель предназначена для генерации текста и диалоговых сценариев; в метаданных указан английский язык. Для общения используется шаблон с ролями System, User и Assistant. Модель содержит около 51 млрд параметров и поддерживает запуск через llama.cpp. Доступны варианты квантизации Q6_K, Q5_K_M, Q4_K_M, IQ4_NL, IQ4_XS, Q4_0, IQ3_M, IQ3_S, IQ3_XXS и Q3_K_S с размером файлов примерно от 20,19 до 42,26 ГБ. Более точные варианты обеспечивают качество, близкое к исходной модели, но требуют больше памяти; менее точные подходят для оборудования с ограниченным объёмом памяти, однако сильнее уступают по показателям perplexity и могут работать медленнее на CPU и Apple Silicon. Для полноценной работы требуется версия llama.cpp начиная с b4380 с поддержкой переменного Grouped Query Attention для DeciLMForCausalLM. При самостоятельной конвертации следует учитывать проблему старого конвертера с параметром rope_theta: без исправления модель может некорректно работать с запросами длиннее 4 тысяч токенов. Модель распространяется по лицензии NVIDIA Open Model License Agreement; точные условия определяются текстом этой лицензии.

Карточка модели ModelCloud/Llama3.2-1B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

unsloth/Llama-3.2-1B-unsloth-bnb-4bit — 4-битная динамически квантованная версия языковой модели Meta Llama 3.2 1B, подготовленная Unsloth на базе meta-llama/Llama-3.2-1B. Модель предназначена для генерации и обработки текста, диалоговых сценариев, суммаризации и задач агентного поиска; формат также ориентирован на эффективное дообучение с меньшими требованиями к памяти и последующий экспорт в GGUF или vLLM. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention (GQA), содержит около 1 млрд параметров и работает по схеме «текст на входе — текст на выходе». В README официально указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Динамическая 4-битная квантизация Unsloth выборочно сохраняет отдельные параметры в более высокой точности, что должно обеспечивать лучший баланс качества и экономии памяти по сравнению со стандартной 4-битной квантизацией. К сильным сторонам относятся компактный размер, сниженные требования к памяти и удобство дообучения. Ограничения — отсутствие визуальной модальности, статичность обучающих данных и потенциальное снижение качества из-за квантизации; заявленный размер контекста в предоставленном README не указан. Модель распространяется по Llama 3.2 Community License; применяются также условия Acceptable Use Policy.

mlx-community/Llama-3.2-3B-Instruct — конверсия модели Meta Llama 3.2 3B Instruct в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm версии 0.18.2. Это плотная авторегрессионная языковая модель на 3,2 млрд параметров для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и ориентирована на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель подходит для диалоговых помощников, генерации и преобразования текста, а также сценариев с вызовом инструментов. В репозитории указаны веса Safetensors; README описывает конверсию в MLX и использование через mlx-lm. Лицензия — Llama 3.2 License. Качество и безопасность ответов могут зависеть от запроса и сценария применения; сведения о специализированной предметной области в карточке отсутствуют.

RedHatAI/Llama-3.2-3B-Instruct-FP8 — языковая модель для генерации текста и ассистентского диалога, разработанная Neural Magic на базе Meta Llama-3.2-3B-Instruct. Модель принимает текст и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Она предназначена для исследовательского и коммерческого использования в многоязычных чат- и текстовых приложениях. Модель содержит около 3 миллиардов параметров и использует архитектуру Llama-3. Для весов и активаций применена FP8-квантизация линейных операторов в трансформерных блоках: веса квантизированы по каналам, активации — по всему тензору. Это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных операций. В README указана длина контекста до 8192 токенов для развертывания через vLLM. Сильной стороной модели является близкая к неквантизированной версии точность: на перечисленных бенчмарках заявлено восстановление результатов в пределах 0,7%. FP8-формат делает модель более удобной для эффективного инференса, в частности с использованием vLLM и OpenAI-совместимой серверной подачи. Ограничения включают меньший размер и потенциально более низкие возможности по сравнению с крупными моделями Llama, а также зависимость качества от языкового сценария и квантизации; сведения о специализированных ограничениях безопасности в README не приведены. Модель распространяется по лицензии Llama3.2.

Llama-4-Scout-17B-16E-Instruct-GGUF — квантизированная версия инструкционной модели Llama 4 Scout, разработанной Meta. Вариант опубликован в формате GGUF сообществом lmstudio-community и квантизирован bartowski. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые сценарии, ответы на вопросы, создание и преобразование текста, а также локальный запуск в совместимом программном обеспечении. Из доступных данных известно, что базовая модель называется Llama-4-Scout-17B-16E-Instruct; обозначение указывает на конфигурацию 17B-16E, однако точные сведения об архитектуре, размере активной части модели, контекстном окне, поддерживаемых языках и модальностях в README не приведены. Формат GGUF удобен для локального вывода и может снизить требования к ресурсам, но квантизация способна повлиять на качество по сравнению с исходными весами; конкретный уровень квантизации также не указан. Модель распространяется по Llama 4 Community License от Meta с требованиями к атрибуции, маркировке «Built with Llama», соблюдению Acceptable Use Policy и специальными коммерческими условиями для продуктов с более чем 700 миллионами активных пользователей в месяц.

RedHatAI/Llama-4-Scout-17B-16E-Instruct-quantized.w4a16 — мультимодальная instruct-модель, разработанная Red Hat совместно с Neural Magic на основе Meta Llama-4-Scout-17B-16E-Instruct. Она предназначена для диалоговых приложений, генерации и обработки текста, а также задач image-text-to-text с изображениями и текстовыми запросами на входе и текстом на выходе. Поддерживаются арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. Модель использует архитектуру Llama4ForConditionalGeneration. Её веса квантизированы в INT4 по схеме W4A16 без квантизации активаций, что примерно на 75% снижает требования к памяти GPU и размер на диске по сравнению с представлением весов в 16 бит. Для инференса предусмотрена интеграция с vLLM, Red Hat AI Inference Server, Red Hat Enterprise Linux AI и OpenShift AI; модель валидирована в RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. К сильным сторонам относятся мультимодальность, поддержка нескольких языков и сниженные требования к ресурсам благодаря квантизации. README не указывает число активируемых параметров, максимальную длину контекста, точные показатели качества или аппаратные требования, поэтому производительность в конкретных сценариях следует проверять отдельно. Модель выпущена 25 апреля 2025 года и распространяется по лицензии Llama 4; применяются условия лицензии Meta Llama 4.