I.11Классификация, ранжирование и сопоставление

SuperQwen3.8-27b-abliterated-MLX-4bit — мультимодальная версия модели, разработанная Jiunsong для локального запуска на компьютерах Apple Silicon. Она основана на SuperQwen3.8-27b-abliterated и представляет собой встроенную MLX-квантизацию с 4-битными аффинными весами. Модель поддерживает текстовые и визуальные входы, заявлена для английского и корейского языков, а также рассчитана на рассуждения и вызов инструментов. Модель содержит 27 млрд параметров и занимает около 15 ГиБ; веса распределены по трём safetensors-файлам, размер группы квантизации — 64. Изменения abliteration встроены непосредственно в MLX-веса, поэтому отдельный адаптер при запуске не требуется. На Apple M5 Max заявлена скорость около 27 токенов в секунду при обычной авторегрессионной генерации и около 33 токенов в секунду с DFlash 2. В тестах также подтверждены мультимодальный инференс и сохранение ограниченного режима рассуждений. Сильные стороны модели — возможность локального запуска 27B-модели на Mac без серверного GPU, компактное 4-битное представление, поддержка изображений, рассуждений и инструментов, а также проверенная совместимость с MLX. При этом показатели производительности зависят от оборудования и приведены для однопоточного сценария; размер контекста в README не указан. Abliteration существенно меняет поведение отказов модели: в заявленных тестах родительские отказы на вредоносные запросы снизились с 30/32 до 0/32, поэтому модель не следует рассматривать как вариант с исходными ограничениями безопасности. Лицензия — Apache-2.0.

Tess-2.0-Yi-34B-200K — универсальная большая языковая модель серии Tess, разработанной migtissera. Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров, обученная на базовой модели 01-ai/Yi-34B-200K. Она предназначена для генерации текста и диалогов; в карточке приведён формат запросов с ролями SYSTEM, USER и ASSISTANT. Контекст модели составляет до 200 000 токенов. Модель работает с текстом и заявлена как uncensored, поэтому может создавать предвзятый, оскорбительный или неподходящий контент. Ответы могут быть неточными или вводящими в заблуждение, их следует проверять. В репозитории указаны веса safetensors. Лицензия обозначена как other, поэтому условия использования следует сверять с лицензией репозитория.

Tess-34B-v1.4 — универсальная большая языковая модель семейства Tess, опубликованная migtissera. Она дообучена на базе Yi-34B-200K и предназначена для генерации текста и диалоговых сценариев. Модель использует плотную архитектуру LlamaForCausalLM, содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. Карточка описывает общий профиль модели, без специализации на конкретной предметной области. Для диалога приведён формат с ролями SYSTEM, USER и ASSISTANT. Модель опубликована в формате safetensors; лицензия указана как other, поэтому условия использования следует уточнять по полным сведениям репозитория.

Typhoon2.5-Qwen3-30B-A3B — инструктивная языковая модель, разработанная OpenTyphoon для генерации ответов на тайском и английском языках. Она предназначена для диалогов, следования инструкциям и вызова инструментов в приложениях на основе чат-моделей. Модель построена на архитектуре Qwen3 как декодерная Mixture-of-Experts с 30 млрд параметров и примерно 3 млрд активных параметров. Она поддерживает контекст до 256 тыс. токенов и доступна в формате safetensors для Transformers. Указана лицензия Apache 2.0; для использования README также требует принять условия OpenTyphoon и ознакомиться с уведомлением о конфиденциальности. Модель ещё находится в разработке. Несмотря на защитные ограничения, ответы могут быть неточными, предвзятыми или нежелательными, поэтому её следует оценивать с учётом конкретного сценария применения.

West-Hermes-7B — языковая модель на 7,1 млрд параметров, созданная слиянием моделей Mistral-7B-v0.1, WestLake-7B-v2 и OpenHermes-2.5-Mistral-7B с помощью метода DARE TIES и инструментария mergekit. В основе лежит плотная архитектура Mistral для авторегрессионной генерации текста. Модель предназначена для генерации текста по текстовым запросам. Контекст составляет до 32 768 токенов. В README приведены результаты оценок на бенчмарках рассуждений и понимания текста. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

ZephyrPaca-7B — объединённая языковая чат-модель на 7,1 млрд параметров, созданная с помощью mergekit. В неё методом TIES объединены HuggingFaceH4/zephyr-7b-beta и mlabonne/Mistralpaca-7B; архитектура — плотная MistralForCausalLM, веса представлены в safetensors. Указанная длина контекста — 32 768 токенов. Модель предназначена для генерации текста в диалогах и выполнения пользовательских инструкций. Её можно применять для ответов на вопросы, ведения беседы и создания текстовых черновиков. Карточка не сообщает отдельные языковые ограничения; базовая модель Zephyr ориентирована на английский. Лицензия в предоставленных данных не указана.

Athena-7B-Instruct — многоязычная языковая модель семейства Llama, представленная пользователем Mewingk. Это плотная decoder-only архитектура LlamaForCausalLM с 7,2 млрд параметров по README; метаданные каталога при этом указывают 2,1 млн параметров. Модель прошла инструкционное дообучение и предназначена для генерации текста и выполнения инструкций на разных языках. Модель можно применять для диалогов, ответов на вопросы, написания и преобразования текста. В README заявлены предварительное обучение на 2,5 трлн токенов более чем на 60 языках, 32 слоя, GQA с 8 KV-головами и контекст 8192 токена; метаданные указывают нативный контекст 512 токенов. Лицензия — Apache-2.0. Заявленные характеристики размера и контекста расходятся между README и метаданными, поэтому фактическую конфигурацию следует сверить с файлами весов. Нет сведений о специализированной предметной области или оценках качества.

Bactrian-X LLaMA 13B Merged — объединённая модель инструкционного следования, разработанная MBZUAI на основе LLaMA-13B. Она дообучена с помощью LoRA на инструкциях из Stanford Alpaca и Databricks Dolly, переведённых на 52 языка; ответы для обучающих примеров были сгенерированы GPT-3.5-turbo. Модель предназначена для генерации ответов и выполнения текстовых инструкций в разных языках. Модель использует плотную архитектуру LLaMA с 12,9 млрд параметров и контекстом до 2048 токенов. Репозиторий содержит веса PyTorch; лицензия — MIT. Качество на разных языках может различаться: обучающие инструкции переводились машинным способом, а данные могут отражать культурные и языковые смещения английского оригинала.

TwT-6/cr-model-v1 — диалоговая языковая модель семейства Qwen2, представленная в формате safetensors. В README она описана как модель для понимания и генерации текста, ответов на вопросы, рекомендаций и непринуждённого общения. Модель содержит 13,4 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Она предназначена для текстовых диалогов и других задач генерации текста. В README не приведены сведения о поддерживаемых языках и специальных предметных областях, поэтому модель можно описать только как универсальную. Лицензия — CC BY 4.0. Карточка не сообщает о конкретных ограничениях качества или безопасности; ответы модели могут требовать проверки.

Darwin-36B-Opus — языковая модель FINAL-Bench / VIDRAFT_LAB, полученная эволюционным слиянием Qwen3.6-35B-A3B и её версии, дообученной на примерах рассуждений. Это MoE-модель на архитектуре Qwen3.5 MoE для генерации текста и диалогов с режимом пошаговых рассуждений; в README заявлены 36 млрд параметров всего и около 3 млрд активных, а метаданные указывают 2,9 млрд параметров. Контекст — 262 144 токена. Модель предназначена для сложных вопросов и рассуждений, включая задачи уровня GPQA Diamond; заявлены поддержка нескольких языков и результат 88,4% на GPQA Diamond по описанному авторами протоколу. Модель принимает текстовые запросы и генерирует текст. Доступна в формате Safetensors и распространяется по лицензии Apache 2.0. README описывает её как результат слияния весов без повторной градиентной оптимизации финальной модели; опубликованный бенчмарк включает стохастический повторный отбор ответов, поэтому показатель может зависеть от протокола оценки.

DeepSeek LLM 67B Chat — диалоговая языковая модель компании DeepSeek с плотной архитектурой семейства Llama и 66,6 млрд параметров. Модель создана на основе deepseek-ai/deepseek-llm-67b-base и дообучена на дополнительных данных с инструкциями. В репозитории представлены веса PyTorch; модель принимает текст и генерирует текст в формате диалога. Модель предназначена для общения и выполнения текстовых запросов на английском и китайском языках. Обучение с нуля проводилось на корпусе объёмом 2 трлн токенов. Контекст модели — 4096 токенов. В карточке приведён шаблон диалога; авторы не рекомендуют использовать системный промпт с этой версией. Лицензия в метаданных указана как other, поэтому конкретные условия использования следует сверить с лицензией репозитория. Карточка не описывает специализированные области применения или гарантии качества.

DeepSeek-V4-Flash-MXFP4 — квантизированная версия DeepSeek-V4-Flash, разработанная Advanced Micro Devices (AMD) на базе исходной модели DeepSeek AI. Это каузальная языковая модель для генерации текста, ориентированная на запуск через Transformers и vLLM в Linux на ускорителях AMD MI355 и MI350 с архитектурой gfx950. README не указывает точный размер модели, поддерживаемые языки и длину контекста. Модель использует архитектуру DeepseekV4ForCausalLM и механизм Mixture-of-Experts (MoE). Проекции маршрутизируемых и общих MoE-экспертов квантизированы в статический OCP MXFP4 для весов и динамический OCP MXFP4 для активаций; остальные компоненты, включая attention, маршрутизатор MoE, нормализацию, embeddings, выходную голову и MTP-блок, сохранены в исходной точности. Квантизация выполнена с помощью AMD Quark 0.12.0, а рекомендуемая среда включает ROCm 7.2.0, PyTorch 2.9.1, Transformers 5.13.1 и vLLM 0.29.0. Ключевое преимущество модели — оптимизация инференса на совместимом оборудовании AMD при сохранении качества исходной модели: на GSM8K в конфигурации с 8 примерами она показала 94,92% против 95,00% у исходной версии, что соответствует восстановлению 99,9% результата. Ограничения включают зависимость от конкретных ускорителей AMD, Linux и совместимого программного стека; сведения о других бенчмарках, мультимодальности и языковом покрытии отсутствуют. Модель распространяется по лицензии MIT, как и исходная модель.

Карточка модели roskosmos19/Dolphin-4B-Instruct-flash на Hugging Face совпадает с карточкой roskosmos19/Orca-4B-Instruct, поэтому описание составлено по ней. Orca-4B-Instruct — компактная инструктивная языковая модель, опубликованная roskosmos19. По карточке она основана на архитектуре Qwen3 и предназначена для диалогов и выполнения текстовых инструкций. Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и принимает контекст до 16 384 токенов. Модель рассчитана на генерацию ответов, следование инструкциям и разговорные сценарии; в метаданных также заявлен интерфейс вызова инструментов. Карточка описывает оптимизацию для экономичного запуска: сокращённый контекст и удалённые мультимодальные специальные токены уменьшают требования к памяти, сохраняя фокус на текстовых ответах. Доступны веса в формате safetensors. Модель подходит для локальных чат-ботов, помощников и других приложений, где важны умеренный размер и стоимость инференса. Ограничение контекста до 16 384 токенов исключает обработку очень длинных запросов; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — Apache-2.0.

EVA-Yi-1.5-9B-32K-V1-GGUF — это набор GGUF-квантизованных версий языковой модели EVA-Yi-1.5-9B-32K-V1, разработанной EVA-UNIT-01 и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе в LM Studio. В README указана поддержка контекста до 32K токенов; сведения о языках и мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. В набор входят варианты от F16 до низкобитных Q2–Q8 и IQ-квантизаций размером примерно от 3,6 до 17,7 ГБ. Квантизации выполнены с использованием imatrix на базе llama.cpp, что позволяет выбирать между качеством ответов, требованиями к памяти и скоростью инференса. В README наиболее качественными и рекомендуемыми названы варианты Q5–Q6, а Q4 — как компромисс для ограниченных ресурсов; низкобитные варианты экономичнее, но могут заметно терять в качестве. Для некоторых Q4-вариантов предусмотрена оптимизация под ARM с требованиями к аппаратным расширениям. Используется лицензия Apache-2.0.

Experiment26Yam_CalmeInex12 — объединённая языковая модель на архитектуре Mistral, созданная MaziyarPanahi путём слияния automerger/Experiment26Yam-7B и automerger/CalmeInex12-7B. Модель содержит 7,1 млрд параметров, принимает текстовые запросы и генерирует текст; длина контекста составляет до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев общего назначения. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

pytorch/gemma-3-27b-it-FP8 — модель, разработанная PyTorch и полученная квантованием google/gemma-3-27b-it. Это instruction-tuned модель для генерации текста в формате диалога, ответов на вопросы и общего языкового взаимодействия. README также указывает возможность мультимодальной оценки на задаче ChartQA, однако подробные сведения о поддерживаемых типах входных данных не приведены. Модель использует квантование FP8 с динамическими активациями и весами FP8; размер базовой модели составляет 27B параметров. Указан английский язык. Доступны режимы с рассуждением и без него, а для запуска предусмотрена интеграция с vLLM и Transformers. В приведённых проверках версия FP8 показала близкие к исходной модели результаты: 76,20 против 76,48 на MMLU и 51,32 против 51,80 на мультимодальном ChartQA. Для работы требуются актуальные версии vLLM, torchao или Transformers, а также GPU-окружение; README отмечает необходимость отключения compile cache в vLLM из-за проблем совместимости. Модель распространяется по лицензии Apache-2.0.

Карточка модели unsloth/gemma-3-4b-it-qat на Hugging Face совпадает с карточкой google/gemma-3-4b-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Google Gemma 3 4B IT QAT Q4_0 Unquantized — мультимодальная модель для диалогов с текстом и изображениями, основанная на Gemma 3 4B IT. Несмотря на обозначение QAT Q4_0 в названии, метаданные указывают формат файлов safetensors; отдельная квантизация в них не подтверждена. Модель принимает текст и изображения и генерирует текст, поддерживает чат и предназначена для ответов на вопросы по изображениям, суммаризации и другим задачам генерации и понимания текста. В README семейство Gemma 3 описано как компактное, подходящее для локального запуска на ноутбуках и настольных компьютерах. Для семейства заявлены контекст до 128 тысяч токенов и поддержка более 140 языков; README не уточняет, подтверждены ли эти характеристики именно для данной сборки. Лицензия — Gemma. Возможны фактические ошибки, предвзятые ответы и трудности с неоднозначными формулировками и сложными задачами; для развёртывания следует учитывать эти ограничения и проверять результаты.

unsloth/gemma-3n-E4B-it-unsloth-bnb-4bit — это 4-битная версия Gemma 3n E4B-it, разработанная Unsloth на базе модели Google gemma-3n-E4B-it. Модель предназначена для диалоговых и текстовых задач, включая генерацию ответов и использование в приложениях на базе Transformers. В карточке указана поддержка английского языка и формат image-text-to-text, однако текущие рекомендации README подтверждают поддержку только текста. Модель относится к семейству Gemma 3n и имеет размер 4B; используется 4-битное квантование bnb, рассчитанное на снижение требований к памяти. Максимальная длина контекста составляет 32K токенов. Для запуска рекомендуется Transformers или совместимые инструменты, а для Gemma 3n указаны параметры temperature 1.0, top_k 64 и top_p 0.95. Unsloth заявляет ускорение до 2 раз и снижение использования памяти до 80% для сценариев тонкой настройки, но конкретные результаты зависят от оборудования и конфигурации. Основные ограничения — отсутствие заявленной поддержки изображений в текущей версии, ограниченная информация о точной архитектуре и отсутствие подробных результатов оценки качества в README. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать условия этой лицензии.

Это мультимодальная GGUF-версия модели OBLITERATUS/gemma-4-E4B-it-OBLITERATED, созданная и квантованная пользователем rdhorner на основе Gemma 4 от Google. Базовая модель представляет собой модифицированную версию gemma-4-E4B-it, обработанную методом OBLITERATUS. Модель предназначена для локального запуска через llama.cpp и совместимые приложения; в метаданных указано около 8 млрд параметров. Модель поддерживает текстовый ввод, изображения и аудио при подключении отдельного файла mmproj, содержащего оба мультимодальных энкодера. Она подходит для диалоговых сценариев, анализа изображений и аудио, использования инструментов и function calling. Поддерживаются OpenAI-совместимые запросы через llama-server, включая tool calls и мультимодальные сообщения. В комплект входят варианты F16, Q8_0, Q5_K_M и Q4_K_M; Q4_K_M рекомендован для локального использования как компромисс между качеством и размером. Для мультимодального режима требуется файл mmproj, а шаблон чата Gemma 4 необходимо включать с параметром --jinja. К сильным сторонам относятся мультимодальность, поддержка вызова инструментов и несколько вариантов квантования для запуска на локальном оборудовании. Модель использует встроенный канал рассуждений Gemma 4, который в OpenAI-совместимых ответах отображается как reasoning_content. При этом модификация OBLITERATED изменила направления отказа в 21 из 42 слоёв, поэтому надёжность вызова инструментов может снижаться в темах, близких к ограничениям безопасности. В README не указаны точный набор поддерживаемых языков и максимальный размер контекста; в примере сервера используется контекст 8192 токена. Модель распространяется по лицензии Apache 2.0, соответствующей лицензии базовой модели.

GLM-4.7-Flash-MLX-4bit — это 4-битная квантизированная версия языковой модели GLM-4.7-Flash, разработанной организацией zai-org. Квантизация выполнена командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon в экосистеме MLX. Модель предназначена для генерации текста и может использоваться в сценариях, поддерживаемых библиотекой Transformers и инструментами MLX, включая локальный запуск на совместимых компьютерах Apple. В README заявлена поддержка английского и китайского языков. Модель относится к текстовой модальности; сведения о размере, конкретной архитектуре и максимальной длине контекста не указаны. Ключевое преимущество версии — снижение требований к памяти и вычислительным ресурсам за счёт 4-битной квантизации и оптимизации под Apple Silicon. При этом квантизация может влиять на точность и качество генерации по сравнению с исходной моделью, а фактическая производительность зависит от оборудования и настроек запуска. Модель распространяется по лицензии MIT.

Heretic-Scalpel-E2B — мультимодальная чат-модель на архитектуре Gemma 4 E2B, основанная на Google Gemma 4 E2B IT и дообученная автором репозитория. Карточка заявляет, что модель работает локально и офлайн, использует около 8 ГБ оперативной памяти и поддерживает контекст до 128K токенов; эти характеристики приведены в README автора. Модель предназначена для диалога и создания текста, включая суммаризацию и ответы на вопросы, а также для анализа изображений и аудио. Она принимает текстовые, визуальные и аудиовходы и выдаёт текст; в метаданных также отмечен интерфейс вызова инструментов. README описывает ослабление исходных ограничений безопасности, поэтому модель может отвечать на запросы без прежних отказов базовой модели. Возможны фактические ошибки, пробелы в знаниях и трудности с нюансами языка или сложными задачами; ослабленные ограничения безопасности повышают риск вредоносных ответов. Язык модели не указан в метаданных. Лицензия репозитория — Apache-2.0.

unsloth/InternVL3-8B-GGUF — квантованная в формате GGUF версия мультимодальной модели InternVL3-8B, разработанной командой OpenGVLab и опубликованной Unsloth. Модель предназначена для обработки текста и изображений с генерацией текстовых ответов; её применение охватывает мультимодальное восприятие и рассуждение, анализ промышленных изображений, работу с GUI-агентами, использование инструментов и восприятие 3D-сцен. Архитектура построена по схеме ViT-MLP-LLM: визуальная часть InternViT-300M-448px-V2_5 соединена с языковой моделью Qwen2.5-7B через MLP-проектор. Модель относится к семейству размером 8B параметров, поддерживает мультиязычную обработку, а её заявленный конвейер — image-text-to-text. В качестве обучающего набора указан OpenGVLab/MMPR-v1.2. README не содержит точного значения контекстного окна и подробностей о конкретном варианте квантования. К сильным сторонам относятся сочетание визуального анализа и языкового рассуждения, расширенные мультимодальные сценарии и возможность использования GGUF-версии в совместимых локальных средах. Ограничения связаны с необходимостью поддерживаемого рантайма для GGUF, возможными компромиссами квантования и отсутствием в карточке детальных количественных характеристик производительности. Указана лицензия Apache-2.0; при этом в метаданных также приведена ссылка на лицензию Qwen.

Ethualo дообучил компактную плотную языковую модель Kanana2 Tiny на базе kakaocorp/kanana-2-1.3b-instruct. Модель предназначена для генерации текста и диалогов; в метаданных также отмечен интерфейс вызова инструментов. Она содержит около 1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. При дообучении использовались Unsloth и библиотека Hugging Face TRL. Модель распространяется по лицензии Apache-2.0.

Модель yeeun2/kanana-1.5-8b-instruct-2505-Persona-Merged — дообученная диалоговая Llama-модель на базе kakaocorp/kanana-1.5-8b-instruct-2505. Она предназначена для генерации текста в формате инструкций и диалога; метаданные также отмечают интерфейс вызова инструментов. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель разработал пользователь yeeun2; для обучения использовались Unsloth и библиотека TRL из Hugging Face. Базовая модель Kakao рассчитана на генерацию текста, программирование, математику и вызов инструментов, однако README не уточняет, какие из этих навыков были целью дополнительного дообучения. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Kaori-34B-v1 — текстовая генеративная модель семейства Llama, дообученная Kaeri и Jenti методом SFT с LoRA. Для обучения использованы набор Open-Platypus и 5% данных Dolphin; авторы также сообщают о фильтрации обучающих примеров, связанных с рядом тестов рассуждения и понимания текста. Модель предназначена для генерации ответов и выполнения текстовых инструкций в сценариях общего назначения. Она содержит 33,9 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 4096 токенов. В репозитории указаны веса safetensors и лицензия Llama 2. Карточка не приводит оценки качества или конкретных гарантий по точности.

Это неофициальная community-квантизация в формате GGUF модели Kimi-Linear-48B-A3B-Instruct, разработанной Moonshot AI. Квантизация выполнена с использованием метода APEX и предназначена для запуска через llama.cpp; модель не связана с Moonshot AI и не endorsed этой организацией. Модель представляет собой гибридную MoE-архитектуру с 48 млрд параметров всего и примерно 3 млрд активных параметров. В большинстве слоёв используется KDA (Kimi Delta Attention, gated-delta linear attention), а в отдельных слоях — полноценное MLA-внимание; FFN построен на 256 маршрутизируемых и одном общем эксперте. Заявленное окно контекста достигает 1 048 576 токенов, однако размер контекста необходимо явно задавать при запуске. Модель предназначена для генерации текста, диалогов и сценариев с инструментами; README не указывает перечень поддерживаемых языков. Доступны варианты APEX-balanced, APEX-i-quality и экспериментальный APEX-handroll. Рекомендуется APEX-balanced: его размер около 33 ГБ, тогда как i-quality занимает около 29 ГБ и показывает увеличение perplexity примерно на 0,34% относительно эталонной версии bf16. Ключевое преимущество — существенное уменьшение размера при сохранении качества, но для работы требуются сборка llama.cpp с поддержкой архитектуры kimi_linear и kimi-k2 pre-tokenizer, а также значительные ресурсы RAM/VRAM. Лицензия MIT распространяется на компоненты, указанные в README.

Kurage — русскоязычная модель для задач поиска по контексту и генерации ответов, разработанная Lightblue. Она основана на Qwen/Qwen2-7B-Instruct и дообучена для RAG-сценариев. Модель имеет плотную архитектуру Qwen2 с 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Kurage умеет выбирать релевантные фрагменты среди нескольких контекстов и отвечать на вопрос, работать с одним фрагментом для параллельной обработки, расширять краткие ответы, отвечать по текстам на других языках и создавать пары вопросов и ответов из исходного текста. Это может помочь подготовить материалы для индексации и поиска. Модель распространяется по лицензии Apache-2.0. Основной язык вопросов и ответов — русский. Ответы по контекстам на других языках возможны, но авторы отмечают нестабильное качество в зависимости от вопроса и языка источника. В режиме работы с одним фрагментом модель иногда ошибочно считает, что контекст не содержит ответа, поэтому результаты следует проверять.

LeoScorpius-GreenNode-Alpaca-7B-v1-Mistral-7B-Instruct-v0.2-slerp — объединённая языковая модель на базе Mistral-7B-Instruct-v0.2 и LeoScorpius-GreenNode-Alpaca-7B-v1. Разработчик карточки объединил модели методом SLERP с помощью mergekit; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, формат весов — safetensors. Модель предназначена для генерации текста и диалоговых ответов на инструкции; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. В карточке не заявлены специализированные области применения или поддерживаемые языки. Репозиторий распространяется по лицензии Apache-2.0. Качество и поведение объединённой модели могут отличаться от исходных моделей; карточка не приводит оценок или сравнительных тестов.

Sakalti выпустил модель light-3B-beta — объединение языковых моделей на базе Qwen2.5-3B, созданное с помощью mergekit и метода TIES. В объединение включена Qwen/Qwen2.5-3B-Instruct; модель предназначена для генерации текста и диалогового общения, включая сценарии с интерфейсом вызова инструментов. Модель имеет плотную архитектуру Qwen2ForCausalLM и 3,1 млрд параметров. Она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Веса опубликованы в формате Safetensors, указанная лицензия — other. Карточка не приводит сравнительных оценок качества, перечня поддерживаемых языков или подробностей о поведении при вызове инструментов. Перед применением следует проверить качество на целевых задачах и изучить условия лицензии.

TheBloke/Llama-2-7B-Chat-GPTQ — это квантизированная версия диалоговой языковой модели Llama 2 7B Chat, разработанной Meta, подготовленная TheBloke в формате GPTQ. Модель предназначена для генерации текста и ведения диалогов: ответов на вопросы, помощи пользователю и других сценариев, где требуется текстовый ассистент. Для работы рекомендуется использовать шаблон промпта Llama-2-Chat с системными инструкциями и пользовательским запросом. Модель основана на архитектуре Llama и содержит 7 миллиардов параметров. Она работает с текстом, поддерживает английский язык и рассчитана прежде всего на GPU-инференс. В репозитории доступны варианты с разными параметрами квантизации GPTQ, включая разрядность, размер групп, порядок активаций и другие настройки; конкретные варианты позволяют выбирать компромисс между требованиями к VRAM и точностью. Некоторые файлы совместимы с ExLlama, который поддерживает Llama-модели в 4-битном формате. К сильным сторонам относятся сниженные требования к памяти по сравнению с полноразмерной версией и наличие нескольких вариантов квантизации для различного оборудования. Ограничения связаны с потерями точности, возможными при квантизации, отсутствием мультимодальности и тем, что модель не предназначена для генерации фактически гарантированно достоверных ответов. Модель распространяется по лицензии Llama 2; её использование регулируется условиями лицензии Meta Llama 2.