II.6Документация и сопровождение разработки

Gemma2-9B-IT-Simpo-Infinity-Preference — диалоговая языковая модель на архитектуре Gemma 2, разработанная на основе google/gemma-2-9b-it. Модель дообучена на Infinity-Preference с использованием SimPO; в карточке указаны результаты 73,4% LC win-rate на AlpacaEval 2.0 и 58,1% win-rate на Arena-Hard против GPT-4. Модель предназначена для диалогов, ответов на вопросы и генерации текста по инструкциям. Она содержит 9 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. В метаданных указан английский язык. Для взаимодействия используется тот же шаблон чата, что и у базовой Gemma 2. Связанные код, данные и веса разрешены только для академических исследований и не могут применяться в коммерческих целях. Разработчик не гарантирует точность ответов; их содержание зависит, в частности, от случайных факторов.

wzhouad/gemma-2-9b-it-WPO-HB — дообученная версия инструктивной языковой модели Google Gemma 2 9B IT, созданная методом Weighted Preference Optimization (WPO). Модель предназначена для диалогов и генерации ответов на текстовые запросы; обучение на парах предпочтений из Ultrafeedback направлено на улучшение следования предпочтениям пользователей. Для обучения использовались ответы Gemma, полученные по принципу on-policy, и ответы GPT-4-turbo на запросы из Ultrafeedback. Ответы оценивались моделью RLHFlow/ArmoRM-Llama3-8B-v0.1, после чего крайние по оценке ответы формировали пары предпочтений. Модель имеет плотную архитектуру Gemma 2, около 9 млрд параметров, принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 8192 токенов. В README приведён результат AlpacaEval: 76,73 LC и 77,83 WR при средней длине ответа 2285 токенов. Лицензия в предоставленных данных не указана. Результаты оценки относятся к указанному бенчмарку и сами по себе не гарантируют качество на других задачах; обучение на предпочтениях не исключает ошибок и нежелательных ответов.

Gemma2-Eclipse-9B — объединённая разговорная языковая модель на 9 млрд параметров, созданная автором репозитория с помощью mergekit на основе нескольких моделей Gemma 2. Для генерации текста и диалоговых ответов используются архитектура Gemma2ForCausalLM и контекст до 8192 токенов. В карточке указаны форматы запросов ChatML и Gemma 2; автор отмечает, что Gemma 2 может работать лучше, поскольку при использовании ChatML модель иногда выводит служебный токен в конце ответа. Модель предназначена для локального или прикладного использования в сценариях генерации текста и общения. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

Gemma-3-4b-it-MAX-NEO-Imatrix-GGUF — GGUF-квантизированная версия инструкционной модели Google Gemma 3 4B, опубликованная DavidAU. Модель предназначена для генерации текста, диалогов, выполнения пользовательских инструкций, творческого письма и других общих сценариев использования языковых моделей. Заявлен контекст до 128 000 токенов. Ключевая особенность версии — сочетание квантизации с сохранением embedding- и output-тензоров в формате BF16 («MAXED») и специализированного imatrix-набора «NEO IMATRIX», разработанного DavidAU. По заявлению автора, это должно улучшать следование инструкциям, качество ответов и связность идей по сравнению с обычными квантами. Доступны варианты от IQ1_S до Q8_0; для творческих задач рекомендуются IQ3S, IQ4XS, IQ4NL и Q4, для общего использования — Q5, Q6 и Q8, а для портативных устройств — Q4_0 и Q5_0. Разные варианты квантов могут заметно различаться по качеству и характеру вывода. Модель ориентирована на локальный запуск и позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. README приводит пример производительности около 56 токенов в секунду для IQ4XS на видеокарте среднего уровня, но фактические показатели зависят от оборудования и настроек. Ограничения включают снижение качества у наиболее компактных квантов, различия в результатах между Q- и IQ-вариантами, а также необходимость подбора параметров генерации. Лицензия — Apache 2.0.

Andycurrent/gemma-3-4b-it-uncensored-v2-GGUF — квантованные версии Gemma-3-4B-IT-Uncensored-v2, созданной на базе Gemma 3 и модели braindao/gemma-3-4b-it-uncensored-v2. Это инструкционно дообученная языковая модель примерно на 4 млрд параметров, предназначенная для локального, офлайн- и приватного развертывания. Указан английский язык; модель работает в текстовом режиме и использует формат чата Gemma с маркерами начала и конца хода диалога. Модель ориентирована на диалоги, генерацию текста, творческие задачи, рассуждения, структурированные ответы, объяснение кода, примеры и лёгкую отладку. Она делает акцент на высокой отзывчивости, следовании пользовательским инструкциям, стабильности в продолжительных диалогах и уменьшенном количестве встроенных ограничений, поэтому может применяться для персональных ассистентов, ролевых систем, prompt engineering, исследований выравнивания и экспериментов с поведением моделей. Ключевое преимущество — сочетание компактного размера и возможности запуска на потребительских GPU, CPU с квантованием и устройствах с ограниченными ресурсами. При этом точные параметры квантования, максимальная длина контекста и результаты бенчмарков не указаны. Из-за минимально ограниченного поведения модель может генерировать контент, который обычно фильтруется; пользователю необходимо самостоятельно учитывать требования законодательства, политики и этические нормы. Лицензия наследует условия оригинальной модели Gemma.

LibertAIDAI/Gemma-4-12B-IT-NVFP4-GGUF — это текстовая GGUF-квантизация инструкционной модели google/gemma-4-12B-it, подготовленная LibertAI с использованием NVIDIA ModelOpt и предназначенная для запуска через llama.cpp. Модель ориентирована на генерацию текста, диалоговые приложения, локальное и серверное инференс-использование; по умолчанию формирует рассуждение перед ответом. Модель представляет собой плотный decoder примерно на 11,9 млрд параметров с 48 слоями и гибридным механизмом внимания: большинство слоёв используют локальное sliding-window attention, а каждый шестой слой — глобальное внимание. Квантизации NVFP4 подвергнуты 144 проекции плотных FFN-слоёв; attention, embeddings и lm_head используют отдельные форматы GGUF. Доступны варианты Q4_K_M размером около 6,5 GiB, Q8_0 размером 7,8 GiB и BF16 размером 10,8 GiB. Релиз текстовый: мультимодальные возможности исходной Gemma 4 не поддерживаются, поскольку конвертер llama.cpp пока не поддерживает используемый unified-вариант. Главное преимущество NVFP4 проявляется на видеокартах NVIDIA Blackwell, включая RTX 50-й серии, B100 и B200: нативные tensor-core kernels могут повысить пропускную способность и снизить потребление VRAM по сравнению со стандартными квантизациями. На более старых GPU модель запускается, но преимуществ в производительности может не быть. Модель унаследовала лицензию Gemma от Google; для использования необходимо соблюдать условия этой лицензии.

Gemma-4-26B-A4B-JANG_2L-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-26b-a4b-it. Это вариант с ослабленными отказами и смешанной 2-битной квантизацией JANG_2L: критические компоненты хранятся в 8 битах, важные — в 6, а большая часть весов экспертных блоков — в 2 битах. По данным карточки, модель занимает 9,9 ГБ и использует архитектуру MoE с 128 экспертами, из которых активируются восемь, и гибридным скользящим и глобальным вниманием. Модель предназначена для диалогов, программирования, общих вопросов и работы с изображениями; поддерживает режим рассуждений. Автор сообщает о тестировании генерации кода и запросов по информационной безопасности, а также приводит собственные результаты MMLU и HarmBench. Эти показатели получены на тестах автора и не гарантируют качество в других сценариях. Для запуска рекомендованы vMLX или совместимый движок MLX с поддержкой Gemma 4; заявлены Apple Silicon и не менее 16 ГБ объединённой памяти. Лицензия — gemma; автор обозначает модель как исследовательскую и возлагает на пользователей ответственность за соблюдение применимых законов.

Это квантизированная версия мультимодальной модели Google Gemma 4 31B-it, опубликованная pearsonkyle в формате GGUF для llama.cpp, Ollama и LM Studio. Модель предназначена для генерации текста, программирования, работы с инструментами и function calling, агентских сценариев, а также анализа изображений. Поддерживается английский язык; заявлены текстовый и визуальный ввод. Доступны варианты IQ2_M, IQ3_M, IQ4_XS и Q5_K_S с размером примерно от 10,2 до 19,8 GiB и разной степенью сжатия. Версия IQ2_M использует 2-битную AWQ-квантизацию, настроенную на основе журналов задач программирования и tool use; автор заявляет повышение точности аргументов инструментов на 54% по сравнению с обычным вариантом при сопоставимом размере. Более качественные варианты используют hybrid imatrix. Модель также поддерживает MTP-драфтер для ускорения генерации, а для обработки изображений требуется отдельный vision-модуль mmproj размером около 772 МБ на базе SigLIP-подобного энкодера. Сильными сторонами являются сочетание программирования, tool use и vision, работа в стандартных локальных средах и возможность разместить конфигурацию Q5_K_S с текстовой моделью, MTP-драфтером и vision-модулем примерно в 24 ГБ видеопамяти. Ограничения связаны с потерями качества при низкобитной квантизации, особенно в варианте IQ2_M, необходимостью отдельного mmproj для изображений и отсутствием в предоставленных данных точного размера контекста и подробных результатов независимого тестирования. Лицензия указана как Gemma.

Gemma-4-31B-IT-NVFP4-GGUF — квантизированная версия мультимодальной модели Google Gemma-4-31B-it, подготовленная LibertAI для запуска через llama.cpp. Модель предназначена для генерации и понимания текста, а с дополнительным файлом mmproj — также для обработки изображений и аудио. Указан английский язык поддержки. Это плотная decoder-модель примерно на 30,7 млрд параметров с гибридной схемой локального скользящего и глобального внимания, unified KV в глобальных слоях и Proportional RoPE для длинного контекста. Тензоры dense FFN квантизированы в NVFP4, а остальные компоненты используют варианты GGUF-квантизации Q4_K_M, Q8_0 или BF16. Доступны файлы размером примерно от 17 до 30 ГБ; для мультимодального ввода требуется отдельный mmproj-файл размером около 1,2 ГБ. В README приведены примеры запуска с контекстом до 32768 токенов и результаты тестов на NVIDIA RTX 5090. Главное преимущество NVFP4-варианта — уменьшенный объём видеопамяти и высокая производительность на NVIDIA Blackwell, включая RTX 50-й серии, B100 и B200; вариант Q4_K_M рекомендован для наиболее эффективной работы. На старых GPU модель запускается, но преимуществ в производительности NVFP4 может не быть. Большой KV-кэш Gemma-4 ограничивает высокую конкурентную нагрузку, а более точные варианты требуют больше памяти. Модель распространяется по лицензии Gemma, унаследованной от исходной модели Google.

FadedRedStar/gemma-4-E2B-it-qat-q4_0-heretic-GGUF — мультимодальная GGUF-версия модели Gemma 4 E2B, разработанной Google DeepMind. Модель предназначена для диалогов, рассуждений, генерации текста, обработки изображений и аудио, а также локального и периферийного развертывания. Поддерживаются системные сообщения, роли system/user/assistant, нативный вызов функций и настраиваемый режим рассуждений. Модель имеет гибридную архитектуру со скользящим и глобальным вниманием, 35 слоями и окном скользящего внимания 512 токенов. Контекст составляет 131 072 токена. Эффективный размер — 2,3 млрд параметров, общий размер с учетом Per-Layer Embeddings — 5,1 млрд. Поддерживаются текст, изображения и аудио; для мультимодального ввода используются отдельные vision/audio-проекторы. Текстовые веса представлены в формате Q4_0 PURE, рассчитанном с применением Quantization-Aware Training, а проекторы доступны в вариантах Q8_0 и BF16. Сильными сторонами являются мультимодальность, большой контекст, поддержка локального запуска и сохранение качества при 4-битном развертывании благодаря QAT. Суффикс heretic означает постобработку методом Arbitrary-Rank Ablation с использованием Heretic v1.2.0, направленную на снижение отказов при ответах; приведенные метрики являются самоотчетом автора и не были независимо проверены. Для работы требуется совместимый рантайм, например llama.cpp, а для обработки изображений и аудио — соответствующий проектор. Модель распространяется по лицензии Gemma; условия указаны по ссылке Google.

Gemma-Mling 7B — базовая языковая модель, разработанная Junbum Lee (Beomi) и Taekyoon Choi на основе Gemma-7B от Google. Модель продолжительно предобучена на смеси корпусов, преимущественно на корейском, английском, китайском и японском языках, а также на многоязычных данных. Это плотная авторегрессионная модель GemmaForCausalLM с 8,2 млрд параметров и контекстом до 8192 токенов. Модель принимает текстовые запросы и документы и генерирует текст. Её можно применять для ответов на вопросы, суммаризации, черновиков, творческого письма и языковой практики; карточка также рассматривает её как основу для исследований NLP. Модель выпущена в формате safetensors для Transformers. Лицензия указана как other; README ссылается на условия использования Gemma, поэтому перед использованием следует ознакомиться с ними. Качество ответов зависит от охвата и качества обучающих данных; возможны предвзятость, ошибки в фактах и трудности с нюансами языка, сложными инструкциями и здравым смыслом. Карточка не сообщает об отдельных проверках качества по сценариям, поэтому результаты следует оценивать для конкретного применения.

Gemma Orchid 7b — дообученная модель генерации текста на базе Gemma, опубликованная macadeliccc. Автор описывает её как второй чекпойнт будущего проекта, ориентированный на диалог и вызов функций. Модель содержит 8,2 млрд параметров, построена на плотной архитектуре GemmaForCausalLM и принимает текст. Контекстное окно — 8192 токена; для общения используется формат ChatML. Модель дообучена методом LoRA примерно на 80 тысячах примеров из наборов Thermostatic/flowers, Intel/orca_dpo_pairs, jondurbin/truthy-dpo-v0.1 и glaiveai/glaive-function-calling-v2. Она предназначена для диалоговых ответов, суммаризации и сценариев с вызовом функций. В README приведены результаты нескольких бенчмарков, а полная оценка обозначена как незавершённая. В репозитории доступны веса safetensors. Лицензия указана как other, без более точных условий в предоставленных данных. Это ранний чекпойнт проекта; качество вызова функций и пригодность для конкретных задач следует проверять отдельно.

42MARU/GenAI-llama-2-13b — языковая модель 42MARU на базе LLaMA 2, предназначенная для генерации текста и выполнения инструкций. Модель имеет плотную архитектуру LlamaForCausalLM и около 12,9 млрд параметров; она опубликована в формате PyTorch и рассчитана на контекст до 4096 токенов. Для обучения использовались датасеты в стиле Orca и Platypus. Модель подходит для диалоговых ответов и задач вопросно-ответного поиска, где запрос задаётся естественным языком. Карточка приводит результаты оценки на Open LLM Leaderboard, включая ARC и HellaSwag. В метаданных указан английский язык. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя. Результаты бенчмарков не гарантируют качество в конкретных прикладных сценариях.

Geneva 12B GammaCorpus v2-1m — диалоговая языковая модель rubenroy, дообученная на Mistral-Nemo-Instruct-2407 с использованием корпуса структурированных и отфильтрованных многоходовых диалогов GammaCorpus v2-1m. Она предназначена для генерации текста, ведения беседы и выполнения инструкций; интерфейс модели также поддерживает вызов инструментов. Модель построена на плотной архитектуре Mistral, содержит 12,1 млрд параметров и использует 40 слоёв, группированные запросы внимания (GQA) и вращательные позиционные эмбеддинги. Заявленная длина контекста — 1 024 000 токенов. В метаданных перечислена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Модель работает с текстом и доступна в формате safetensors через Transformers. Лицензия — Apache-2.0. README предупреждает о возможности предвзятых ответов; фактическое качество на конкретных задачах следует проверять отдельно.

GenZ-70B — авторегрессионная языковая модель Bud Ecosystem, дообученная методом supervised fine-tuning на Meta Llama 2 70B. Модель построена на архитектуре Llama и содержит 68,7 млрд параметров; карточка Hugging Face указывает библиотеку Transformers, формат PyTorch и контекст 4096 токенов. Модель предназначена для генерации текста и диалогового взаимодействия по пользовательским запросам. Её можно применять для получения ответов, подготовки текстовых материалов и экспериментов с LLM. В README приведены результаты MT Bench, MMLU, Human Eval и BBH, но детали обучающих данных и оценивания описаны ограниченно. README указывает коммерческое использование по специальной лицензии, связанной с условиями Meta AI Model and Library Downloads. Перед применением следует проверить эту лицензию и ограничения базовой модели. Заявленное разработчиком назначение включает исследования больших языковых моделей.

win10/ghost-13.3b-beta-1608 — объединённая языковая модель, созданная с помощью mergekit методом passthrough на основе ghost-x/ghost-8b-beta-1608. Модель использует плотную архитектуру Llama с классом LlamaForCausalLM и предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Объём модели составляет 12,7 млрд параметров, заявленная длина контекста — 131 072 токена. Базовая модель описана как многоязычная модель на основе Llama 3. Модель распространяется в формате safetensors. Сведения о лицензии и конкретных ограничениях применения в предоставленных данных отсутствуют.

GLM4.7-Distill-LFM2.5-1.2B — компактная плотная языковая модель на архитектуре Liquid AI LFM2, разработанная автором репозитория на основе LiquidAI/LFM2.5-1.2B-Instruct. Модель содержит около 1,5 млрд параметров по метаданным (в README указано 1,2 млрд) и обучена методом офлайн-дистилляции: для обучения использовались синтетические ответы GLM-4.7 и открытые наборы инструкций. Учитель не нужен при запуске, а цепочки рассуждений в модель не включены. Модель предназначена для диалогового помощника, следования инструкциям, планирования и разбиения задач, суммаризации, объяснений, лёгкой помощи с кодом и агентных сценариев, включая локальный запуск на периферийных устройствах. Заявлены контекст до 128 000 токенов и поддержка английского языка; метаданные также указывают интерфейс для вызова инструментов. Модель ориентирована на краткие ответы и совместима с Transformers и safetensors. Автор предупреждает, что модель может галлюцинировать, ошибаться в сложных логических выводах и уверенно отвечать при недостатке оснований; она не подходит для актуальных событий и критически важных медицинских, юридических или безопасностных решений без проверки. Лицензия — Apache-2.0.

TeichAI выпустила GLM-4.7-Flash-Claude-Opus-4.5-High-Reasoning-Distill — дообученную на небольшом наборе примеров рассуждений Claude Opus 4.5 модель GLM-4.7-Flash. Это текстовая модель семейства GLM-4 MoE Lite с 4,1 млрд параметров и контекстом до 202 752 токенов; она поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для генерации текста с упором на сложные рассуждения, программирование, научные вопросы и глубокий поиск. В README приведено сравнение с базовой моделью по нескольким бенчмаркам: результаты улучшились на части тестов и снизились на других, поэтому преимущество зависит от задачи. Для запуска автор рекомендует использовать параметры сэмплирования, указанные в карточке базовой модели. Модель распространяется по лицензии Apache-2.0. README содержит несогласованные сведения о квантизации: в конфигурации бенчмарков указано 4-bit, тогда как метаданные перечисляют формат safetensors без подтверждения квантованных весов.

Gonzo-Chat-7B — диалоговая языковая модель на архитектуре Mistral, созданная объединением нескольких моделей с помощью mergekit и метода DARE TIES. В состав объединения вошли Nondzu/Mistral-7B-Instruct-v0.2-code-ft, NousResearch/Nous-Hermes-2-Mistral-7B-DPO, cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser и базовая eren23/ogno-monarch-jaskier-merge-7b-OH-PREF-DPO. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов по метаданным; README приводит более раннее значение 8 192 токена. Модель предназначена для диалогов, ролевых сценариев, работы с агентами и несложного программирования, а также для генерации текста по инструкциям. В карточке приведены результаты Open LLM Leaderboard и сравнительных состязаний, но они не гарантируют качество на конкретных задачах. Модель принимает текст и генерирует текст; указан язык en. Распространяется под лицензией Apache-2.0.

Это GGUF-сборка модели llmfan46/gpt-oss-120b-ultra-heretic, подготовленная независимым автором llmfan46. В README указано, что исходная модель прошла abliteration: изменялись слои 15–32 с целью снизить частоту отказов при сохранении возможностей. Доступны варианты BF16, Q8_0 и Q5_K_M; метаданные классифицируют эту копию как дообученную модель в формате GGUF. Модель предназначена для диалоговой генерации текста, рассуждений и сценариев с использованием инструментов. README также заявляет поддержку вызова функций, веб-браузинга и структурированных ответов, а запуск описан через llama.cpp, LM Studio и Ollama. Указанные в карточке показатели — 3 отказа из 100 и KL-дивергенция 0,0703 — относятся к оценке автора и не гарантируют результаты на других запросах. Лицензия — Apache 2.0. Сборка ориентирована на пользователей, которым нужна модель с меньшим числом отказов; такие ответы могут быть менее ограничены. Размер параметров и длина контекста для этой GGUF-копии в предоставленных данных не указаны.

Карточка модели crusoeai/gpt-oss-20b-BF16 на Hugging Face совпадает с карточкой unsloth/gpt-oss-20b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

gaianet/gpt-oss-20b-GGUF — сборка модели openai/gpt-oss-20b, опубликованная Gaianet в формате GGUF. Это языковая модель архитектуры gpt_oss с разреженной MoE-архитектурой для генерации текста и диалогового применения. В README указан исходный репозиторий модели и раздел запуска с Gaianet. Модель принимает текстовые запросы и генерирует текст; заявленная длина контекста составляет 131072 токена. В метаданных указаны 1,6 млрд параметров, библиотека Transformers, форматы GGUF и GGUF F16, а также лицензия Apache-2.0. README не описывает специальные предметные области или конкретные языковые ограничения.

Grafted-Hermetic-Platypus-C-2x7B — языковая модель Lodrick-the-Lafted, созданная как MoE-слияние Platyboros-Instruct-7B и Hermes-Instruct-7B-217K. Она предназначена для диалогов и генерации текста по инструкциям; карточка приводит результаты тестов на рассуждение и здравый смысл. Модель содержит 7,1 млрд параметров, использует архитектуру Mixtral MoE, принимает текст и поддерживает контекст до 32 768 токенов. В README указаны форматы промптов Mistral-Instruct и Alpaca, причём токенизатор по умолчанию использует Alpaca. Репозиторий распространяется в формате Safetensors по лицензии Apache-2.0.

granite-3.0-2b-instruct-GGUF — это GGUF-квантизированная версия языковой модели Granite 3.0 2B Instruct, разработанной IBM и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и выполнения инструкций, включая ответы на вопросы, понимание прочитанного, рассуждения, математические задачи, синтез кода и многоязычные сценарии. Модель содержит около 2 миллиардов параметров и распространяется в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до квантизаций Q4–Q8 с размером файлов примерно от 1,52 до 5,27 ГБ. README не указывает точное максимальное окно контекста, архитектурные детали или полный список поддерживаемых языков; при этом приведены результаты тестирования на наборе PAWS-X для семи языков. К сильным сторонам относятся компактный размер, возможность локального запуска и несколько вариантов квантизации с разным соотношением качества и требований к памяти. Квантизированные версии могут уступать исходным весам в точности, особенно при более агрессивном сжатии. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная. Лицензия — Apache 2.0.

duyntnet/granite-3.0-2b-instruct-imatrix-GGUF — GGUF-квантизации модели Granite-3.0-2B-Instruct, разработанной командой Granite компании IBM. Модель дообучена на базе Granite-3.0-2B-Base с использованием открытых наборов данных для обучения инструкциям, синтетических данных, supervised fine-tuning, обучения с подкреплением для выравнивания и объединения моделей. Она содержит около 2 миллиардов параметров и предназначена для генерации текста по инструкциям. Модель подходит для создания ассистентов и бизнес-приложений, суммаризации, классификации и извлечения текста, ответов на вопросы, Retrieval Augmented Generation (RAG), задач, связанных с кодом, function calling и многоязычного диалога. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые интерфейсы, включая KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. К сильным сторонам относятся компактный размер, широкий набор прикладных сценариев, структурированный чат-формат и поддержка 12 языков. README не содержит сведений о длине контекста, конкретных вариантах квантизации, требованиях к оборудованию или результатах бенчмарков, поэтому производительность и ограничения в этих аспектах оценить нельзя. Для исходной модели указана лицензия Apache 2.0; для данного репозитория в метаданных отмечена лицензия other, без дополнительных пояснений.

ibm-granite/granite-3.3-8b-instruct-GGUF — это семейство версий модели IBM Granite 3.3 8B Instruct, преобразованных в формат GGUF с различными уровнями квантования. Модель разработана IBM и предназначена для генерации текста и выполнения инструкций в сценариях, поддерживаемых базовой моделью ibm-granite/granite-3.3-8b-instruct. Из доступных данных известно, что модель относится к классу text-generation и имеет около 8 миллиардов параметров. Формат GGUF удобен для локального запуска совместимыми средствами вывода, а выбор квантования позволяет находить компромисс между качеством, скоростью работы и требованиями к памяти. Конкретные поддерживаемые языки, размер контекста, архитектурные детали и различия между вариантами квантования в предоставленной карточке не указаны. Сильными сторонами являются инструкционное назначение базовой модели и возможность локального использования в компактных квантованных вариантах. Ограничения зависят от выбранного уровня квантования и характеристик среды запуска; точные сведения о качестве, мультимодальности и специализированных сценариях отсутствуют. Модель распространяется по лицензии Apache-2.0.

granite-4.2-3b-GGUF — это квантованная версия языковой модели granite-4.2-3b, разработанной IBM (ibm-granite) и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста, задач рассуждения, диалоговых сценариев и вызова инструментов. Она принимает только текстовые данные и поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель содержит около 4 млрд параметров. Квантование выполнено с использованием llama.cpp и метода imatrix; доступны варианты от BF16 до низкобитных Q2–Q8 и IQ-квантов размером примерно от 1,57 до 7,32 ГБ. В README не указаны архитектура и размер контекстного окна, а speculative decoding не поддерживается. Более компактные варианты экономят оперативную память, но могут снижать качество; Q4_K_M обозначен как сбалансированный вариант для большинства сценариев, а Q5–Q6 — как варианты с более высоким качеством. Модель распространяется по лицензии Apache-2.0. Для корректной работы рекомендуется использовать указанный шаблон prompt с секцией рассуждений <think> и совместимый рантайм llama.cpp.

granite-4.2-8b-MLX-8bit — 8-битная квантованная версия модели granite-4.2-8b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии рассуждений, «thinking» и вызова инструментов. В README указаны следующие языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель имеет 8 миллиардов параметров в исходной версии; конкретное значение контекстного окна и сведения о мультимодальности не указаны. Ключевые преимущества — сниженное потребление памяти благодаря 8-битному представлению и оптимизация для Apple Silicon. Ограничения включают зависимость от совместимой MLX-среды и возможное появление неточного, вредного или неподходящего контента. Модель распространяется по лицензии Apache-2.0. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность, доступность или соответствие конкретным требованиям.

richardr1126/guanaco-13b-merged — слитая модель на архитектуре LLaMA, созданная объединением адаптера QLoRA timdettmers/guanaco-13b с базовой LLaMA-13b. Она предназначена для генерации текста в диалоговом формате и ответов на пользовательские запросы. Модель содержит 12,9 млрд параметров, принимает текст и выдаёт текст; родной контекст составляет 2048 токенов. В карточке указаны PyTorch и датасет OpenAssistant Guanaco. Лицензия в предоставленных данных не указана.

h2oai/h2ogpt-4096-llama2-13b — клонированная H2O.ai версия Meta Llama 2 13B, созданная для генерации текста и использования в составе h2oGPT. Модель можно дообучать с помощью открытого ПО h2oGPT и H2O LLM Studio. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 12,9 млрд параметров. Она принимает текст, генерирует текст и поддерживает контекст до 4096 токенов. В карточке указана поддержка английского языка; репозиторий содержит веса PyTorch и Safetensors. Модель подходит для генерации ответов и диалоговых сценариев, в том числе для чата с документами через приложение h2oGPT. Лицензия репозитория — Llama 2; условия использования определяются лицензией Meta Llama 2.