I.2Синтез, понимание и проверка знаний

flammen26-mistral-7B — объединённая языковая модель на архитектуре Mistral, созданная flammenai с помощью mergekit. В качестве основы использована flammenai/flammen25-mistral-7B, а в слияние также вошли flammenai/Mahou-1.2-mistral-7B, flammenai/flammen23-mistral-7B и flammenai/flammen18X-mistral-7B; применён метод Model Stock. Модель содержит 7,1 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста, включая диалоговые сценарии. В карточке приведены результаты Open LLM Leaderboard, в том числе средний балл 72,49, 67,92 на AI2 Reasoning Challenge и 86,96 на HellaSwag. Модель распространяется по лицензии Apache-2.0. README не описывает отдельные ограничения применения или поддерживаемые языки.

FranQwenStein-35B — языковая модель на архитектуре Qwen2, собранная Nisten методом evo-merge из Qwen2.5-32B-Instruct, Qwen2.5-32B-AGI и Qwen2.5-32B-Base. Она предназначена для диалогов и генерации текста с выполнением системных инструкций; в карточке также приведены результаты оценок на нескольких бенчмарках. Модель содержит 33,9 млрд параметров и поддерживает контекст до 131 072 токенов. По README, слияние сохраняет защитные ограничения Qwen и усиливает следование системному промпту; автор сообщает о результате примерно на 1% выше Qwen2.5-72B-Instruct на GPQA Diamond Zero-Shot. Эти оценки приведены автором и не гарантируют аналогичного качества в других сценариях. Репозиторий распространяется в формате safetensors по лицензии MIT.

Den4ikAI/FRED-T5-XL_instructor — русскоязычная инструкционная модель на архитектуре T5, разработанная Den4ikAI и основанная на FRED-T5-XL. Модель содержит около 870 млн параметров и предназначена для генерации текста в ответ на инструкции и запросы. Её можно применять для русскоязычных текстовых задач, сформулированных в виде инструкций. В метаданных указаны форматы PyTorch и Safetensors и лицензия MIT. Карточка не описывает конкретные результаты обучения или ограничения качества.

Gemma 2 2B — компактная языковая модель Google из семейства Gemma, созданная с использованием исследований и технологий, применявшихся при разработке Gemini. Это декодерная модель с открытыми весами для генерации текста; семейство включает предварительно обученные и дообученные для следования инструкциям варианты. Данная карточка описывает текстовую модель, ориентированную на английский язык. Модель подходит для ответов на вопросы, суммаризации, рассуждений, диалоговых интерфейсов и создания текстов — например, черновиков писем, сценариев и рекламных материалов. Небольшой размер позволяет запускать её на ноутбуке, настольном компьютере или собственной облачной инфраструктуре. В метаданных указаны библиотека Transformers и формат весов Safetensors; лицензия — Gemma. Качество ответов зависит от обучающих данных и формулировки запроса. Модель может выдавать фактически неверную или устаревшую информацию, отражать предвзятость данных и испытывать трудности с неоднозначностью и сложными открытыми задачами; для прикладных систем рекомендуется проверка результатов и меры безопасности.

wzhouad/gemma-2-9b-it-WPO-HB — дообученная версия инструктивной языковой модели Google Gemma 2 9B IT, созданная методом Weighted Preference Optimization (WPO). Модель предназначена для диалогов и генерации ответов на текстовые запросы; обучение на парах предпочтений из Ultrafeedback направлено на улучшение следования предпочтениям пользователей. Для обучения использовались ответы Gemma, полученные по принципу on-policy, и ответы GPT-4-turbo на запросы из Ultrafeedback. Ответы оценивались моделью RLHFlow/ArmoRM-Llama3-8B-v0.1, после чего крайние по оценке ответы формировали пары предпочтений. Модель имеет плотную архитектуру Gemma 2, около 9 млрд параметров, принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 8192 токенов. В README приведён результат AlpacaEval: 76,73 LC и 77,83 WR при средней длине ответа 2285 токенов. Лицензия в предоставленных данных не указана. Результаты оценки относятся к указанному бенчмарку и сами по себе не гарантируют качество на других задачах; обучение на предпочтениях не исключает ошибок и нежелательных ответов.

Gemma 2B — компактная плотная авторегрессионная языковая модель семейства Gemma, разработанная Google. Она содержит 2,5 млрд параметров, принимает и генерирует текст и поддерживает контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors и предназначен для работы с библиотекой Transformers. Модель подходит для генерации текста, ответов на вопросы, суммаризации и диалоговых интерфейсов, а компактный размер позволяет запускать её на персональных компьютерах и собственной облачной инфраструктуре. В карточке указана поддержка английского языка. Условия лицензии в предоставленных данных не описаны. Качество ответов зависит от формулировки запроса и охвата обучающих данных. Модель может ошибаться в фактах, упускать нюансы и воспроизводить предвзятость; для сложных задач и пользовательских приложений нужны проверка результатов и меры безопасности.

core-outline/gemma-2b-instruct — текстовая инструктивная модель семейства Gemma, разработанного Google на основе технологий и исследований, использованных для Gemini. Это плотная авторегрессионная модель-декодер класса GemmaForCausalLM с 2,5 млрд параметров, предназначенная для диалога и генерации текста; контекст составляет до 8192 токенов. Модель принимает текст и формирует текстовые ответы. В карточке семейство Gemma описано как англоязычное. Модель подходит для ответов на вопросы, суммаризации, диалоговых интерфейсов, создания текстов и простых задач рассуждения. Компактный размер позволяет запускать её на компьютере или собственной облачной инфраструктуре. Репозиторий содержит веса в форматах Safetensors и GGUF. Лицензия указана как other; конкретные условия следует сверить с лицензией репозитория. К ограничениям относятся возможные фактические ошибки и устаревшие сведения, смещения из обучающих данных и трудности с неоднозначным языком или сложными открытыми задачами. Модель может создавать вредоносный или вводящий в заблуждение текст, поэтому для прикладных систем важны проверка ответов и меры безопасности.

gghfez выпустил текстовую версию Google Gemma 3 12B IT, преобразовав мультимодальную архитектуру Gemma3ForConditionalGeneration в текстовую Gemma3ForCausalLM и удалив компоненты обработки изображений. По карточке модель предназначена для генерации текста и диалогов; метаданные указывают 11,6 млрд параметров, контекст до 131 072 токенов и формат Safetensors. README приводит оценку в 4 млрд параметров, что расходится с метаданными. Модель принимает текст и выдаёт текст, а использовать её предлагается так же, как текстовую Gemma 3 1B IT. Лицензия — Gemma; модель основана на google/gemma-3-12b-it.

Gemma-3-4b-it-GGUF — квантизированная GGUF-версия модели Gemma 3 4B Instruct, разработанной Google и подготовленной компанией Second State Inc. Модель предназначена для диалогового взаимодействия и задач обработки текста, а также поддерживает работу с изображениями через мультимодальный компонент. Модель имеет размер 4 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также версии f16; наиболее сбалансированными README называет варианты Q4_K_M, Q5_K_M и Q5_K_S. Для обработки изображений требуется отдельный компонент mmproj, изображения должны быть нормализованы до разрешения 896 × 896 и представлены как 256 токенов каждое. Ключевые преимущества модели — компактный размер, возможность локального запуска и широкий выбор вариантов квантизации с разным соотношением качества, скорости и требований к памяти. Ограничением является потеря качества при агрессивной квантизации, особенно в вариантах Q2 и Q3. Для запуска через LlamaEdge требуется версия 0.18.5 или новее. Лицензия — Gemma.

Gemma-3-4b-it-MAX-NEO-Imatrix-GGUF — GGUF-квантизированная версия инструкционной модели Google Gemma 3 4B, опубликованная DavidAU. Модель предназначена для генерации текста, диалогов, выполнения пользовательских инструкций, творческого письма и других общих сценариев использования языковых моделей. Заявлен контекст до 128 000 токенов. Ключевая особенность версии — сочетание квантизации с сохранением embedding- и output-тензоров в формате BF16 («MAXED») и специализированного imatrix-набора «NEO IMATRIX», разработанного DavidAU. По заявлению автора, это должно улучшать следование инструкциям, качество ответов и связность идей по сравнению с обычными квантами. Доступны варианты от IQ1_S до Q8_0; для творческих задач рекомендуются IQ3S, IQ4XS, IQ4NL и Q4, для общего использования — Q5, Q6 и Q8, а для портативных устройств — Q4_0 и Q5_0. Разные варианты квантов могут заметно различаться по качеству и характеру вывода. Модель ориентирована на локальный запуск и позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. README приводит пример производительности около 56 токенов в секунду для IQ4XS на видеокарте среднего уровня, но фактические показатели зависят от оборудования и настроек. Ограничения включают снижение качества у наиболее компактных квантов, различия в результатах между Q- и IQ-вариантами, а также необходимость подбора параметров генерации. Лицензия — Apache 2.0.

RedHatAI/gemma-4-26B-A4B-it-NVFP4 — квантизированная версия мультимодальной модели google/gemma-4-26B-A4B-it, разработанная RedHatAI на базе модели Google. Она предназначена для генерации текста, диалоговых и текстовых задач, обработки изображений с выдачей текстового ответа, а также вызова инструментов и function calling. Модель поддерживает режим рассуждений и ориентирована на развёртывание через vLLM. Архитектура модели обозначена как Gemma4ForConditionalGeneration. На вход она принимает текст и изображения, на выходе генерирует текст. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат NVFP4/FP4: для весов используется размер группы 16, для активаций — локальное масштабирование по группам. Vision tower, эмбеддинги, выходная голова и маршрутизаторы MoE сохранены в исходной точности. Квантизация сокращает число бит на параметр с 16 до 4 и примерно на 75% уменьшает размер модели на диске и требования к GPU-памяти. В документации для vLLM указан максимальный контекст 32768 токенов. Сильные стороны модели — мультимодальность, поддержка рассуждений и вызова инструментов, а также сниженные требования к памяти по сравнению с неквантизированной версией. Квантизация может приводить к некоторому снижению качества относительно исходной модели; README приводит результаты сравнительных оценок, но не содержит полного описания языков и всех ограничений. Для вызова инструментов и режима рассуждений требуются соответствующие настройки vLLM и парсеры Gemma 4. Модель распространяется по лицензии Apache 2.0.

Gemma-4-31B-IT-NVFP4-GGUF — квантизированная версия мультимодальной модели Google Gemma-4-31B-it, подготовленная LibertAI для запуска через llama.cpp. Модель предназначена для генерации и понимания текста, а с дополнительным файлом mmproj — также для обработки изображений и аудио. Указан английский язык поддержки. Это плотная decoder-модель примерно на 30,7 млрд параметров с гибридной схемой локального скользящего и глобального внимания, unified KV в глобальных слоях и Proportional RoPE для длинного контекста. Тензоры dense FFN квантизированы в NVFP4, а остальные компоненты используют варианты GGUF-квантизации Q4_K_M, Q8_0 или BF16. Доступны файлы размером примерно от 17 до 30 ГБ; для мультимодального ввода требуется отдельный mmproj-файл размером около 1,2 ГБ. В README приведены примеры запуска с контекстом до 32768 токенов и результаты тестов на NVIDIA RTX 5090. Главное преимущество NVFP4-варианта — уменьшенный объём видеопамяти и высокая производительность на NVIDIA Blackwell, включая RTX 50-й серии, B100 и B200; вариант Q4_K_M рекомендован для наиболее эффективной работы. На старых GPU модель запускается, но преимуществ в производительности NVFP4 может не быть. Большой KV-кэш Gemma-4 ограничивает высокую конкурентную нагрузку, а более точные варианты требуют больше памяти. Модель распространяется по лицензии Gemma, унаследованной от исходной модели Google.

ddalcu/gemma-4-e2b-it-4bit-textonly — облегчённая сборка Google Gemma 4 E2B, подготовленная в формате MLX на основе mlx-community/gemma-4-e2b-it-4bit. Это instruction-tuned языковая модель для генерации и обработки текста, предназначенная прежде всего для текстовых чат-приложений и локального запуска на устройствах Apple, включая сценарии on-device inference. Модель использует 4-битное affine-квантизование языкового backbone и эмбеддингов, полностью сохраняя веса и качество текстовой генерации исходной модели. Из неё удалены веса vision tower и audio tower: 1 415 из 2 511 тензоров. Размер загрузки сокращён примерно с 3,55 до 2,5 ГБ, то есть приблизительно на 30%. Модель поддерживает только взаимодействие «текст на входе — текст на выходе»; изображения и аудио она не обрабатывает. Сведения о размере контекста и языках в README не указаны. Основные преимущества — меньший размер по сравнению с мультимодальной сборкой и сохранение её текстовых возможностей при работе с MLX. Ограничение — отсутствие мультимодальных входов; для обработки изображений и аудио рекомендуется исходная модель mlx-community/gemma-4-e2b-it-4bit. README указывает лицензию Gemma. Для некоторых версий mlx-vlm при загрузке может потребоваться режим strict=False из-за отсутствующих весов vision-модуля.

FadedRedStar/gemma-4-E2B-it-qat-q4_0-heretic-GGUF — мультимодальная GGUF-версия модели Gemma 4 E2B, разработанной Google DeepMind. Модель предназначена для диалогов, рассуждений, генерации текста, обработки изображений и аудио, а также локального и периферийного развертывания. Поддерживаются системные сообщения, роли system/user/assistant, нативный вызов функций и настраиваемый режим рассуждений. Модель имеет гибридную архитектуру со скользящим и глобальным вниманием, 35 слоями и окном скользящего внимания 512 токенов. Контекст составляет 131 072 токена. Эффективный размер — 2,3 млрд параметров, общий размер с учетом Per-Layer Embeddings — 5,1 млрд. Поддерживаются текст, изображения и аудио; для мультимодального ввода используются отдельные vision/audio-проекторы. Текстовые веса представлены в формате Q4_0 PURE, рассчитанном с применением Quantization-Aware Training, а проекторы доступны в вариантах Q8_0 и BF16. Сильными сторонами являются мультимодальность, большой контекст, поддержка локального запуска и сохранение качества при 4-битном развертывании благодаря QAT. Суффикс heretic означает постобработку методом Arbitrary-Rank Ablation с использованием Heretic v1.2.0, направленную на снижение отказов при ответах; приведенные метрики являются самоотчетом автора и не были независимо проверены. Для работы требуется совместимый рантайм, например llama.cpp, а для обработки изображений и аудио — соответствующий проектор. Модель распространяется по лицензии Gemma; условия указаны по ссылке Google.

Gemma-4-E4B-it-PARL — дообученная командой Pimnara Adulchantarasorn, Phanida Toaluea, Nattanant Vonghan и Rapeepong модель Google Gemma 4 E4B Instruct, созданная в рамках хакатона lablab.ai при поддержке AMD. Модель оптимизирована для автономного многошагового рассуждения и глубокого веб-исследования; при обучении применялись GRPO и подход Parallel-Agent Reinforcement Learning (PARL). Модель предназначена для сценариев, где нужно собирать сведения из нескольких источников, удерживать большой объём контекста и синтезировать выводы в отчёт. По карточке, дообучение рассчитано на контекст свыше 60 тысяч токенов и обучает оркестрации агентных процессов, включая делегирование задач и выполнение Python-кода. Базовая Gemma 4 — мультимодальная модель; в ходе обучения визуальный энкодер оставили замороженным, чтобы сохранить возможности анализа изображений. Репозиторий содержит веса в формате safetensors, лицензия — Gemma License. Основная задача в метаданных — генерация текста. Хотя карточка описывает агентные сценарии и сохранённые возможности работы с изображениями, выполнение внешнего поиска, вызов инструментов и создание HTML-отчётов зависят от соответствующей обвязки; сам README не приводит результатов оценки качества.

mhenrichsen/gemma-7b — текстовая языковая модель семейства Gemma, разработанного Google на основе исследований и технологий, использованных для Gemini. Это плотная авторегрессионная модель архитектуры decoder-only с 8,2 млрд параметров, предназначенная для генерации текста; заявленный контекст — до 8192 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на использование с библиотекой Transformers. Модель подходит для ответов на вопросы, суммаризации, диалоговых интерфейсов, создания текстов и исследовательских NLP-сценариев. В карточке описана англоязычная версия Gemma; размер модели позволяет развёртывание на локальных компьютерах и собственной инфраструктуре, если хватает ресурсов. Карточка не уточняет, является ли именно этот чекпойнт предварительно обученным или настроенным на инструкции. Возможности зависят от обучающих данных и формулировки запроса: модель может испытывать трудности со сложными задачами, языковыми нюансами и здравым смыслом, а также выдавать неточные или устаревшие факты и воспроизводить предвзятость. Условия лицензии в предоставленных данных не указаны.

mhenrichsen опубликовал инструктивно дообученную текстовую модель Gemma 7B IT от Google. Это плотная авторегрессионная модель семейства Gemma с архитектурой decoder-only, содержащая 8,2 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 8192 токенов. В карточке модели указана английская языковая версия. Модель подходит для генерации и редактирования текстов, ответов на вопросы, суммаризации, диалоговых интерфейсов и простых задач рассуждения. Небольшой по меркам крупных языковых моделей размер позволяет запускать её на персональном компьютере или в собственной облачной инфраструктуре, хотя для локального использования всё равно нужны ресурсы, соответствующие модели такого размера. Возможны предвзятые, неточные или устаревшие ответы; модель может затрудняться с неоднозначными формулировками, тонкими языковыми нюансами и сложными открытыми задачами. Опубликована в формате safetensors и распространяется по лицензии Gemma с условиями использования Google; перед развёртыванием следует учитывать политику допустимого использования Gemma.

Gemma-Mling 7B — базовая языковая модель, разработанная Junbum Lee (Beomi) и Taekyoon Choi на основе Gemma-7B от Google. Модель продолжительно предобучена на смеси корпусов, преимущественно на корейском, английском, китайском и японском языках, а также на многоязычных данных. Это плотная авторегрессионная модель GemmaForCausalLM с 8,2 млрд параметров и контекстом до 8192 токенов. Модель принимает текстовые запросы и документы и генерирует текст. Её можно применять для ответов на вопросы, суммаризации, черновиков, творческого письма и языковой практики; карточка также рассматривает её как основу для исследований NLP. Модель выпущена в формате safetensors для Transformers. Лицензия указана как other; README ссылается на условия использования Gemma, поэтому перед использованием следует ознакомиться с ними. Качество ответов зависит от охвата и качества обучающих данных; возможны предвзятость, ошибки в фактах и трудности с нюансами языка, сложными инструкциями и здравым смыслом. Карточка не сообщает об отдельных проверках качества по сценариям, поэтому результаты следует оценивать для конкретного применения.

GLM-5.3-Flash-UNCENSORED-NVFP4-DFlash2 — мультимодальная модель семейства GLM-5.3 Flash. Исходную архитектуру разработала Zhipu AI (ZAI), неконтролируемые веса подготовила dealignai, а упаковку и конфигурацию NVFP4 выполнила Solstice-AI. Модель основана на 320-миллиардной MoE-архитектуре с 288 маршрутизируемыми экспертами и примерно 18 миллиардами активных параметров на токен. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также обработки изображений и видео. Она поддерживает нативные мультимодальные возможности благодаря 24-слойному ViT и проектору размерности 10 240, рассчитана на контекст до 1 048 576 токенов и поставляется с черновой моделью DFlash 2 для спекулятивного декодирования. Ключевая особенность сборки — смешанная точность W4A16: MoE-эксперты используют 4-битный формат NVFP4, а attention, общие эксперты и активации сохраняются в 16-битной точности. Сильными сторонами являются сочетание большого контекста, мультимодальности, сниженного потребления памяти за счёт квантизации и поддержки спекулятивного ускорения. Согласно README, модель ориентирована на GPU NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere. Ограничения включают крупный общий размер, высокие требования к инфраструктуре, зависимость производительности от совместимого ПО и оборудования, а также отсутствие встроенных механизмов отказа от потенциально опасных запросов: веса описаны как uncensored и abliterated. Модель распространяется по лицензии MIT. В README также указаны результаты на MMLU, SWE-bench, LiveCodeBench, MATH-500 и мультимодальных тестах, однако эти показатели приведены авторами карточки и не заменяют независимую оценку.

GPT4-Alpaca-LoRAMLP-65B — модель генерации текста семейства LLaMA, подготовленная на основе LLaMA 65B с помощью LoRA-дообучения MLP-компонентов на наборе alpaca_data_gpt4. Репозиторий TheBloke содержит веса после объединения LoRA с исходной LLaMA 65B; доступны варианты для GPU и CPU, включая квантованные сборки в отдельных репозиториях. В этой карточке указаны веса PyTorch для Transformers: 65 млрд параметров и контекст до 2048 токенов. Модель предназначена для диалоговых и инструкционных сценариев: она принимает текстовые инструкции и генерирует ответы. В README описан обучающий чекпойнт, полученный через LoRA на данных Alpaca GPT-4; это не означает, что ответы эквивалентны GPT-4. Для репозитория указана лицензия other, поэтому условия использования следует сверить с исходной лицензией LLaMA и правилами распространения этой сборки.

Jackrong/GPT-5-Distill-llama3.2-3B-Instruct — диалоговая текстовая модель на архитектуре Llama 3.2, дообученная на базе unsloth/Llama-3.2-3B-Instruct методом SFT и дистилляции ответов GPT-5. Модель содержит 3,2 млрд параметров и предназначена для запуска на потребительском оборудовании, включая устройства с ограниченными ресурсами. В карточке указано использование LoRA при обучении; репозиторий также содержит веса safetensors. Модель подходит для чата и следования инструкциям, объяснений, суммаризации и перефразирования, а также для ответов по документам в RAG-сценариях. В README заявлен контекст до 32 тыс. токенов; метаданные каталога указывают 131 072 токена. Поддерживаемые языки — английский и китайский, на них рассчитана смесь обучающих данных. Небольшой размер удобен для локального запуска, но модель может уступать крупным моделям в сложных математических и программных задачах и склонна к фактическим ошибкам. Ответы для медицинских и юридических решений требуют проверки. Лицензия — Llama 3.2.

pszemraj/granite-4.0-h-7b-heretic — производная диалоговая модель на основе IBM Granite 4.0 H Tiny. В метаданных указаны архитектура GraniteMoeHybridForCausalLM (гибридная MoE), 500,2 млн параметров, контекст до 131 072 токенов и формат Safetensors; README описывает абляцию, направленную на снижение отказов отвечать. По приведённому сравнению доля отказов составляет 6 из 100 против 98 из 100 у базовой модели, а KL-дивергенция — 0,03. Модель предназначена для генерации диалоговых ответов и может использоваться для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и многоязычного общения. Наследует возможности Granite по следованию инструкциям и вызову инструментов, однако результаты приведены для ограниченного набора проб и сами по себе не подтверждают качество на других задачах. В карточке указаны английский как язык модели; README базовой модели перечисляет также немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский, но не устанавливает их поддержку именно этой производной модели. Лицензия — Apache 2.0. Как и базовая модель, она может выдавать неточные, предвзятые или небезопасные ответы; снижение числа отказов требует тщательной проверки применения.

DAXZEIT/GRM-2.6-Plus-0628-MTP-reasoning-i1-GGUF — это набор квантованных GGUF-сборок модели OrionLLM/GRM-2.6-Plus-0628, предназначенной для агентных сценариев, рассуждений, работы с инструментами и задач «изображение—текст». Базовая модель имеет около 27 млрд параметров, архитектуру на основе Qwen3.5/3.6 с MTP-слоем и гибридными gated DeltaNet-рекуррентными слоями. Для работы с изображениями требуется мультимодальный проектор mmproj. В README продемонстрирована конфигурация с контекстом до 262 144 токенов. Сборки используют reasoning-domain importance matrix, оптимизированную для задач рассуждения, а также повышенную точность для ключевого тензора ssm_out во всех DeltaNet-слоях. Доступны варианты квантования от IQ2_M до Q6_K размером примерно от 10,1 до 21,3 ГиБ; более высокая разрядность обычно обеспечивает меньшие отклонения от исходных bf16-весов и лучшее совпадение предсказаний, но требует больше памяти. Встроенный шаблон чата исправляет обработку вызовов инструментов внутри рассуждений и поддерживает агентные циклы. Модель подходит для локального запуска через llama.cpp, включая speculative decoding с MTP, обработки текста и изображений, а также приложений с большим контекстом. Ограничения связаны с потерями точности из-за квантования, требованиями к видеопамяти и необходимостью корректно настроить llama.cpp, мультимодальный проектор и параметры контекста. Поддерживаемые языки в README не указаны. Лицензия — Apache-2.0.

GWQ2b — дообученная языковая модель prithivMLmods на базе Google Gemma 2 2B Instruct. Это декодерный трансформер для генерации текста, с диалоговыми возможностями и контекстом до 8192 токенов; в карточке заявлена поддержка английского языка. Модель дообучена на синтетическом наборе Chain of Continuous Thought и предназначена для ответов на вопросы, суммаризации, рассуждений и следования инструкциям. Модель подходит для создания ответов и кратких изложений, многошаговых рассуждений, а также творческого текста и документации. Вес составляет 2,7 млрд параметров, файлы представлены в формате Safetensors. Лицензия Gemma; условия её использования следует учитывать при развёртывании. Как и другие языковые модели, GWQ2b может выдавать неточные сведения и воспроизводить смещения из данных обучения. Она ограничена контекстом в 8192 токена, а заявленные в README сведения о размере и архитектуре местами противоречат метаданным: для описания использованы параметры из метаданных.

Hermes2pro-mistral-saul-instruct-slerp — объединённая разговорная языковая модель, созданная с помощью mergekit методом SLERP из NousResearch/Hermes-2-Pro-Mistral-7B и Equall/Saul-Instruct-v1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалогов и генерации текста по инструкциям. Она принимает текст и выдаёт текст; нативное окно контекста составляет 32 768 токенов. Модель опубликована в формате safetensors и доступна для использования через Transformers. Карточка не уточняет лицензию и языковой охват объединённой модели.

CombinHorizon/huihui-ai-abliteratedV2-Qwen2.5-14B-Inst-BaseMerge-TIES — объединённая текстовая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES на основе Qwen/Qwen2.5-14B и huihui-ai/Qwen2.5-14B-Instruct-abliterated-v2. Она предназначена для диалоговой генерации текста и ответов на запросы. Модель содержит 14 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. В метаданных указан английский язык. Лицензия — Apache-2.0.

Nickyang/Hy3-RAZOR-226B-A21B-E144of192 — диалоговая языковая модель Tencent Hy3, в которой методом RAZOR без дообучения удалена четверть маршрутизируемых экспертов. В каждом MoE-слое сохранено 144 из 192 экспертов; README указывает 226 млрд параметров и около 21 млрд активных параметров на токен. Метаданные каталога приводят 16,6 млрд параметров, поэтому размер модели в источниках расходится. Модель предназначена для генерации текста и диалогов; базовая Hy3 также позиционируется для рассуждений, агентных сценариев и задач продуктивности. Контекстное окно — 262 144 токена. Веса доступны в формате safetensors, тип точности — bfloat16; для запуска нужна версия Transformers с нативной реализацией hy_v3. RAZOR выбирает экспертов по оценке того, насколько их функцию могут заменить оставшиеся эксперты. Веса не проходили восстановительное обучение, а калибровка проводилась на конечном многодоменном корпусе RazorCal. Использование разреженной MoE-архитектуры сохраняет около 21 млрд активных параметров на токен, но удаление экспертов является потерей информации: ответы могут отличаться по разнообразию, форматированию и поведению завершения даже при сохранении точности на отдельных задачах. Лицензия — Apache-2.0.

Inex16Calme-7B — слитая Maxime Labonne модель для генерации текста на архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Она создана автоматическим слиянием MSL7/INEX16-7b и MaziyarPanahi/Calme-7B-Instruct-v0.1.1 методом SLERP; в конфигурации указана точность bfloat16. Модель подходит для генерации продолжений текста и диалоговых ответов в сценариях, где полезен длинный контекст. Для использования предлагается загрузка через Transformers. Модель распространяется по лицензии Apache-2.0.

InternLM2.5-20B-Chat — разговорная текстовая модель семейства InternLM, разработанная командой InternLM. Данный репозиторий содержит её квантизованные версии в формате GGUF, подготовленные Second State Inc. на основе модели internlm/internlm2_5-20b-chat и предназначенные для локального запуска средствами, совместимыми с GGUF, включая LlamaEdge. Модель предназначена для генерации текста и диалоговых сценариев; README также указывает поддержку использования инструментов через специальный шаблон prompt. Это текстовая модель без заявленной поддержки других модальностей. Она содержит 20 миллиардов параметров, использует шаблон ChatML и поддерживает контекст размером до 32 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также f16; их размер составляет примерно от 7,55 до 39,7 ГБ. Основное преимущество репозитория — выбор компромисса между размером файлов и качеством: Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более агрессивное квантование уменьшает требования к памяти, но может заметно ухудшить качество ответов. Для запуска с LlamaEdge требуется версия 0.13.0 или выше. Лицензия указана как other, без дополнительных условий в README.

InternLM-Chat-7B — диалоговая модель семейства InternLM от команды InternLM, предназначенная для практических сценариев общения и генерации текста. Это плотная авторегрессионная модель класса InternLMForCausalLM с 6,9 млрд параметров; в репозитории представлены веса PyTorch. Карточка сообщает о тренировке на триллионах высококачественных токенов и оценивает модель по языковым, предметным, знаниевым, логическим и понимательным задачам. Модель подходит для диалоговых ассистентов, ответов на вопросы, объяснений и генерации текста; также заявлены возможности вызова инструментов для построения пользовательских рабочих процессов. Метаданные указывают контекст 2048 токенов, тогда как README заявляет окно 8k, поэтому фактическую длину контекста следует сверить с используемой конфигурацией. Карточка приводит результаты OpenCompass, включая C-Eval, MMLU и AGIEval. Модель может генерировать предвзятые, дискриминационные или иные вредоносные ответы. Код распространяется по Apache-2.0; для весов указано открытое использование в академических исследованиях, а коммерческое применение требует получения бесплатного разрешения.