I.11Классификация, ранжирование и сопоставление

Mistral-7B-Instruct-demi-merge-v0.3-7B — объединённая языковая модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit методом SLERP из mistralai/Mistral-7B-v0.3 и mistralai/Mistral-7B-Instruct-v0.3. Модель сочетает базовую и инструктивную версии и предназначена для дальнейшего дообучения или объединения, а также для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; указана лицензия Apache-2.0. В метаданных и README не приведены отдельные сведения о языковом охвате и ограничениях качества.

Это GGUF-квантизированная версия Devstral-2-123B-Instruct-2512 — инструкционной модели, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как mistralai/Devstral-2-123B-Instruct-2512. Распространяется в форматах GGUF для запуска через llama.cpp, LM Studio и совместимые проекты. Модель предназначена для генерации текста и обработки инструкций. В README отдельно упоминается интеграция с mistral-vibe и поддержка tool calling: одиночные вызовы инструментов работают в тестах, однако цепочки вызовов могут работать некорректно. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством ответа, размером файла и требованиями к оперативной памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5 и некоторые варианты Q4. Размер исходной модели — 123 млрд параметров, а размер файлов зависит от выбранной квантизации и составляет примерно от 56,79 до 132,85 ГБ для указанных вариантов. Сильной стороной являются различные уровни квантизации и совместимость с локальными инструментами на базе llama.cpp. Ограничения включают высокие аппаратные требования, возможное снижение качества на низких уровнях квантизации и неполную надёжность цепочных вызовов инструментов. В метаданных указана лицензия other; конкретные условия лицензирования в README не приведены.

AMD Mixtral-8x7B-Instruct-v0.1-w4a16-llmcompressor — это квантизированная версия языковой модели Mixtral-8x7B-Instruct-v0.1 от Mistral AI, подготовленная AMD для оптимизированного CPU-инференса. Модель реализует архитектуру MixtralForCausalLM, принимает текст и генерирует текст, ориентирована на задачи диалоговой генерации и общего следования инструкциям на английском языке. Модель использует разреженную Mixture-of-Experts-архитектуру Mixtral-8x7B и 4-битное квантизирование весов W4A16 методом GPTQ. Веса хранятся в формате INT4 с симметричным групповым квантизированием и размером группы 128, а активации остаются в BF16. Маршрутизатор MoE и lm_head сохранены в BF16. Объём весов уменьшен примерно с 87,0 до 22,8 GiB, то есть примерно на 74%. Данные о максимальной длине контекста в README не указаны; для калибровки использовалась длина последовательности до 2048 токенов. Основной сценарий использования — инференс на процессорах AMD EPYC под Linux с применением vLLM, ZenDNN и ZenTorch. По приведённой оценке на GSM8K модель сохранила 98,83% результата BF16-базовой версии: 0,6331 против 0,6406. Ограничения включают зависимость от совместимого программного стека и аппаратной платформы, а также возможное снижение качества из-за квантизации. Модель распространяется по лицензии Apache-2.0.

munin-neuralbeagle-7b-density-very-high — объединённая текстовая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана с помощью LazyMergekit методом dare_ties на основе munin-7b-alpha и mlabonne/NeuralBeagle14-7B; конфигурация задаёт для NeuralBeagle плотность 0,9 и вес 0,6, а итоговый тип данных — bfloat16. Модель предназначена для генерации текста, в том числе диалогов, ответов на инструкции, рассуждений и творческих текстов — эти возможности указаны в описании базовой NeuralBeagle14-7B. Контекст составляет до 32 768 токенов. В репозитории опубликованы веса в формате safetensors. Карточка не указывает лицензию. Качество и ограничения итогового слияния отдельно не описаны; возможности и поведение базовых моделей могут отличаться от поведения объединённой модели.

Muse-Glimmer-30B-M — это средняя по степени сжатия 4-битная квантованная версия языковой модели Muse-Glimmer-30B, подготовленная Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования LLM, включая агентские задачи, диалоги, обучение с учителем и работу с длинным контекстом. Подробные сведения об исходной архитектуре, размере контекстного окна и поддерживаемых языках в данной карточке не указаны. Квантование выполнено методом асимметричного целочисленного представления с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные случайные преобразования Адамара; также использованы посттренировочное квантование и дистилляция с учётом квантования. По внутренним оценкам KL эта версия сопоставима с Unsloth UD-Q4_K_XL GGUF. Основные ограничения — поддержка инференса только на Apple silicon и зависимость характеристик, возможностей и ограничений от исходной модели Muse-Glimmer-30B. Лицензия — Apache-2.0.

next-12b-i1-GGUF — квантизированная версия модели next-12b от thelamapi, подготовленная mradermacher в формате GGUF. Это плотная causal transformer-модель примерно на 12 миллиардов параметров, предназначенная для локального запуска и генерации текста. В README она обозначена как vision model, поэтому может поддерживать мультимодальные сценарии при наличии соответствующего mmproj-файла, однако конкретные возможности обработки изображений не описаны подробно. Модель ориентирована на диалог, ответы на вопросы, суммаризацию, творческое письмо, рассуждения, программирование и работу с текстами в специализированных областях, включая химию, биологию, финансы и право. Для дообучения использовались наборы данных с инструкциями, математическими задачами, рассуждениями, диалогами и письменными запросами. Заявлена поддержка множества языков, включая английский, турецкий, русский, немецкий, французский, испанский, китайский, японский, корейский и другие. Репозиторий содержит варианты квантизации от i1-IQ1_S до i1-Q5_K_M и более качественные или компактные сборки с разным размером примерно от 3 до 8,5 ГБ. Квантизация снижает требования к памяти и позволяет запускать модель локально, но может ухудшать качество по сравнению с исходной версией; наиболее сбалансированными в README названы i1-Q4_K_S и i1-Q4_K_M. Размер контекста и точные показатели качества не указаны. Лицензия модели — MIT.

NuExtract3-FP8 — 4B vision-language reasoning model, разработанная NuMind на базе Qwen/Qwen3.5-4B. Модель предназначена для понимания документов и поддерживает структурированное извлечение данных: получает текст и/или изображения вместе с JSON-шаблоном и инструкциями и формирует JSON-ответ. Также она преобразует изображения документов в Markdown, включая текст, таблицы, математические формулы и изображения. Модель ориентирована на OCR, подготовку данных для RAG и обработку сканов, чеков, форм, счетов, договоров и таблиц. Модель поддерживает мультимодальные входные данные, многоязычные документы, режимы вывода с рассуждением и без него, а также генерацию шаблонов для извлечения структуры из естественного языка или самого документа. В README не указаны точный размер контекстного окна, перечень языков, специфические параметры FP8-сборки или сведения о производительности именно этой версии; приведённые бенчмарки относятся к NuExtract3.4_4B-RL. Среди сильных сторон заявлены сочетание визуального понимания, OCR, рассуждений и структурированного вывода, однако сложные или длинные задания могут приводить к повторениям, превышению лимита вывода и невалидному JSON. Модель распространяется по лицензии Apache 2.0.

pandafish-2-7b-32k — объединённая модель на архитектуре Mistral, созданная ichigoberry с помощью LazyMergekit из Mistral-7B-Instruct-v0.2 и dolphin-2.8-mistral-7b-v02. Она предназначена для генерации текста и диалоговых ответов по инструкциям; в карточке указан шаблон Mistral Instruct. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. README приводит результаты сравнительных оценок AGIEval, GPT4All, TruthfulQA и Bigbench, но не описывает конкретные гарантии качества для отдельных задач. Опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

cortexso/phi-4-reasoning — текстовая генеративная модель семейства Phi-4-reasoning, разработанная Microsoft Research и преобразованная Menlo Research для распространения в формате GGUF через Cortex и Jan. Модель ориентирована на рассуждения по шагам, решение математических задач, ответы на научные вопросы и выполнение инструкций. Для основной ветки phi-4-reasoning заявлен размер 14 млрд параметров. Доступны квантизованные варианты GGUF от q2_k до q8_0, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью инференса. В README также упоминаются шаблоны ChatML и поддержка расширенного контекста, однако его точная длина не указана. Данных о перечне языков и мультимодальных возможностях нет; по заявленному pipeline_tag модель предназначена для генерации текста. Сильными сторонами модели являются специализация на логическом и математическом рассуждении, следовании инструкциям и возможность эффективного запуска в средах с ограничениями по памяти и задержке благодаря компактному размеру и квантизации. Ограничения включают отсутствие в представленных данных точных результатов бенчмарков, перечня поддерживаемых языков и значения контекстного окна. Модель распространяется по лицензии MIT.

Qwen2-1.5B-Instruct-GGUF — инструкционная языковая модель из семейства Qwen2, разработанного командой Qwen. Она предназначена для диалоговых приложений, генерации и понимания текста, а также может применяться в задачах, связанных с многоязычностью, программированием, математикой и рассуждениями. Модель представлена в формате GGUF и подходит для локального запуска с помощью llama.cpp, включая развёртывание сервера с совместимым с OpenAI API интерфейсом. Модель содержит 1,5 млрд параметров и построена на архитектуре Transformer с активацией SwiGLU, смещениями в QKV-проекциях внимания и Group Query Attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования. В репозитории доступны варианты fp16 и квантованные варианты q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0. Обучение включало предварительное обучение, supervised fine-tuning и direct preference optimization. К сильным сторонам относятся небольшой размер, возможность локального запуска и наличие нескольких уровней квантования с различным компромиссом между качеством и требованиями к ресурсам. Ограничения связаны с размером 1,5 млрд параметров: по сравнению с более крупными моделями она может уступать в сложных задачах понимания, генерации, кодирования и рассуждений; конкретные языки и размер контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

Mungert/Qwen2.5-14B-Instruct-GGUF — набор GGUF-версий инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen и опубликованной в формате GGUF пользователем Mungert. Модель предназначена для генерации текста, диалоговых сценариев и чат-приложений, включая локальный запуск через llama.cpp и системы с ограниченными ресурсами. Модель содержит 14 миллиардов параметров и работает с текстом; в карточке указана поддержка английского языка. Доступны варианты BF16 и F16, а также квантизованные версии Q4_K, Q4_K_S, Q6_K и Q8_0. Более точные варианты требуют больше памяти, тогда как Q4_K и Q4_K_S подходят для CPU и устройств с небольшим объёмом памяти, но могут уступать по точности. Указанный размер контекста и дополнительные модальности не приведены. Основные преимущества — широкий выбор форматов для разных аппаратных конфигураций и возможность локального инференса с уменьшенным потреблением памяти. Ограничения включают компромисс между качеством и требованиями к памяти при квантизации, а также отсутствие в README подробных данных о производительности, бенчмарках и поддерживаемых языках помимо английского. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-72B-0.6x-Instruct — объединённая языковая модель, опубликованная пользователем ddh0. Она создана линейным слиянием Qwen/Qwen2.5-72B-Instruct с весом 0,6 и Qwen/Qwen2.5-72B с весом 0,4. Модель предназначена для диалогов и генерации текста; автор стремился сделать инструкционную версию более гибкой и менее жёсткой. Модель использует плотную архитектуру Qwen2 и содержит 71,5 млрд параметров. Она принимает текст и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Контекст — до 32 768 токенов; заявленные языки включают китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий использует Transformers и формат safetensors. Лицензия указана как other, поэтому перед использованием следует проверить её условия. Слияние призвано сделать поведение модели гибче, однако README сообщает лишь о первоначальном тестировании и не приводит количественных оценок качества. Возможности и надёжность вызова инструментов отдельно не описаны.

bunnycore/Qwen-2.5-7b-TitanFusion-v3 — объединённая диалоговая языковая модель, созданная автором репозитория с помощью mergekit и метода Model Stock. В основу слияния положена bunnycore/Qwen-2.5-7b-TitanFusion-v2; также использованы bunnycore/Qwen-2.5-7b-rp-lora и Orion-zhen/Qwen2.5-7B-Instruct-Uncensored. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и предназначена для генерации текста в формате диалога. Модель принимает текстовые запросы и генерирует текстовые ответы; её можно использовать для общения и выполнения инструкций. Родительская модель описана как дообученная на ответы без отказов, что указывает на соответствующую ориентацию слияния. Нативный контекст составляет 32 768 токенов. Репозиторий использует Transformers и формат Safetensors; веса объединены в bfloat16. Лицензия в предоставленных данных не указана.

ente-ai/Qwen3.5-0.8B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-0.8B, основанной на Qwen/Qwen3.5-0.8B. Модель разработана в экосистеме Qwen, а данный вариант опубликован ente-ai с использованием подходов Unsloth Dynamic 2.0. Она предназначена для локального запуска, прототипирования, исследовательских и прикладных задач, а также специализированного дообучения. Модель представляет собой каузальную языковую модель со зрительным энкодером и поддерживает обработку текста и изображений. Она содержит 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Артефакты совместимы с инструментами локального и серверного инференса, включая Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся компактный размер, мультимодальность, длинный контекст, возможность локального использования и потенциально высокая эффективность инференса. Из-за небольшого масштаба модель прежде всего ориентирована на прототипирование, task-specific fine-tuning и разработку; её возможности могут быть ограничены по сравнению с более крупными моделями в сложных задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Fable-Agentic — плотная мультимодальная модель на 27 млрд параметров, созданная LemuraLabs дообучением Jackrong/Qwopus3.6-27B-v2. Она предназначена для диалога, пошаговых рассуждений и вызова инструментов в многоходовых агентных сценариях; архитектура поддерживает работу с текстом и изображениями. В карточке приведены результаты сравнительных тестов с базовой моделью: 88,29% на MMLU-Pro, 97,33% на GSM8K и 57,07% на GPQA-Diamond. Модель подходит для ответов на общие вопросы, математических задач и систем, которые передают запросы внешним инструментам. В README для обслуживания через vLLM указан контекст до 16 384 токенов. Модель распространяется по лицензии Apache-2.0. Заявленные характеристики и результаты приведены в карточке модели и не являются независимой оценкой качества.

SECWIKI/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive — мультимодальная версия Qwen3.6-27B, разработанная HauhauCS на основе модели Qwen/Qwen3.6-27B. Это модификация без встроенных отказов, предназначенная для генерации ответов на широкий круг запросов, включая сценарии, где требуется минимальное количество ограничений. Модель поддерживает текст, изображения и видео, а заявленные языки включают английский, китайский и другие языки в мультиязычном режиме. Модель содержит 27 млрд плотных параметров и распространяется в формате GGUF с различными уровнями квантования, включая специальные варианты K_P, оптимизированные с использованием importance matrix. Архитектура включает 64 слоя, сочетает 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного gated attention. Нативная длина контекста составляет 262 тысячи токенов и может быть расширена примерно до 1 млн с помощью YaRN. Для мультимодальной работы поставляется отдельный компонент mmproj. Сильной стороной модели является сочетание большого контекста, мультимодальности, нескольких режимов генерации и отсутствия отказов, а K_P-квантизации позволяют сохранить качество при уменьшенном размере файлов. Ограничения включают возможное добавление кратких дисклеймеров, повышенные требования к памяти: размер файлов варьируется примерно от 10 до 32 ГБ, а также риски, связанные с отсутствием защитных ограничений. В README указана лицензия Apache-2.0.

Qwen3.8-27B-Uncensored-INT8-AutoRound — квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, опубликованная пользователем berkerdooo. Она предназначена для запуска и обслуживания языковой или мультимодальной модели Qwen3.8 в условиях ограниченных ресурсов с использованием INT8-квантования весов. В карточке указана multimodal-конфигурация image-text-to-text, а также наличие vision tower, однако поддерживаемые языки и полный перечень мультимодальных возможностей не описаны. Модель имеет размер 27B параметров и использует смешанную точность W8A16: 263 линейных слоя, включая основные проекции self-attention и MLP, хранятся в симметричном INT8 с group size 128, а 354 линейных слоя, включая linear attention, эмбеддинги, выходную голову, нормализационные слои и vision tower, работают в BF16. Квантование выполнено с помощью AutoRound методом SignRound после калибровки на текстах и исходном коде. В README упоминается архитектура с 16 слоями full attention и 48 слоями linear attention/GDN. Для обслуживания проверена связка vLLM с GPTQ-Marlin и поддерживается MTP speculative decoding; в тестовой конфигурации указан максимальный контекст до 262144 токенов. Сильной стороной является небольшая потеря относительно BF16-источника: на указанном тесте согласие top-1 составило примерно 97,2–97,7%, а разница NLL была +0,0022. Ограничения включают зависимость от совместимого стека vLLM и аппаратного обеспечения, а также отсутствие в README результатов прикладных бенчмарков, точного описания языковой поддержки и детальной оценки качества vision-возможностей. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-DERISKED-W4A16-AWQ — мультимодальная языковая модель для работы с изображениями и текстом, разработанная как производная от Qwen3.8-Flash-Next. Базовую модель выпустила команда Qwen, вариант DERISKED создан Blackfrost-AI, а данная версия дополнительно подвергнута квантизации AWQ авторами репозитория davetha. Модель предназначена для сценариев image-text-to-text и рассчитана на запуск крупной MoE-модели класса 80B на двух AMD MI210. Используется формат compressed-tensors W4A16: веса представлены в 4-битном виде, активации — в bfloat16, размер группы — 128. Квантизированы маршрутизируемые эксперты и полные attention-слои, тогда как ряд чувствительных компонентов, включая GDN-слои, общий эксперт, нормы, эмбеддинги, MTP-голову и PLE-таблицу, сохранены в bf16. Поддерживается контекст до 262 144 токенов, MTP speculative decoding и PLE n-gram table. На связке vLLM и двух MI210 заявлены производительность prefill около 2200 токенов в секунду и decoding около 40 токенов в секунду с MTP при трёх speculative tokens; без спекулятивного декодирования — около 10 токенов в секунду. Сильные стороны модели — длинный контекст, мультимодальность, эффективное int4-хранение и ускорение MoE-вычислений. Ограничения включают зависимость от специфической конфигурации vLLM/ROCm, медленный bandwidth-bound decoding из-за потоковой загрузки примерно 100 ГБ PLE-таблицы по PCIe и ограничение speculative decoding тремя токенами на указанном стеке. Модель является abliterated/uncensored: защитное поведение отказа удалено, поэтому ответственность за применение лежит на пользователе. Распространяется по Qwen Community License 1.0; применяются условия лицензии базовой модели.

Vontra/Qwen3.8-Flash-Next-MLX-oQ2-MTP — это общественная MLX-конверсия модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста и обработки изображений и видео в совместимых vision-language сценариях на устройствах Apple Silicon. Это не официальный релиз Qwen, а квантованная версия, преобразованная из официального BF16-чекпойнта в формат MLX safetensors. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов (MoE), Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и hashed n-gram embeddings. Общее число параметров языковой модели составляет около 125 млрд, активных — около 6 млрд; дополнительно указаны 51 млрд параметров n-gram embedding и 4 млрд параметров native MTP-блока. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов и один общий эксперт. Контекст настроен на 262 144 токена и может быть расширен upstream до 1 000 000 токенов. Ключевая особенность — чувствительно-ориентированное смешанное квантование oQ2: базовое представление использует 2-битное affine-квантование с размером группы 32, а отдельные модули — 3, 4, 5, 6 и 8 бит. В чекпойнте сохранён один native MTP draft-блок для speculative decoding. На Apple M3 Studio в тестах скорость генерации составила 26,1398 токена в секунду без MTP и 25,9290 токена в секунду с MTP глубины 3; в данном тесте MTP снизил производительность на 0,81%, поэтому рекомендуется отключать его по умолчанию. Для запуска требуется runtime с явной поддержкой qwen4_exp и native MTP; без такой поддержки загрузка может завершиться ошибкой. Модель распространяется по лицензии Qwen Community License 1.0. Размер весов составляет около 70,782 ГБ, поэтому необходимы значительные объёмы памяти и совместимое оборудование. README не содержит полного описания ограничений исходной модели и предупреждает, что результаты производительности зависят от длины запроса, размера контекста, состояния кэша, версии runtime, нагрузки на память и температуры устройства.

RemySkye/Qwen3.8-Flash-Next-REAM-60Pct-GGUF — пользовательская высококачественная сборка модели Akicou/Qwen3.8-Flash-Next-REAM-60Pct в формате GGUF. Она предназначена для запуска и генерации текста через llama.cpp на системах примерно с 64 ГиБ оперативной памяти, включая локальные сценарии инференса. Лицензия в README не указана. Модель использует архитектуру qwen4exp и разреженную Mixture-of-Experts (MoE). В ней около 129 млрд сохранённых параметров до обрезки PLE, около 90 млрд физических параметров после неё, а на каждый токен активируется примерно 6 млрд параметров. Большая таблица PLE/n-gram была сокращена с 16 до 4 активных голов: сохранены 2 из 8 bigram- и 2 из 8 trigram-голов. Итоговый файл занимает около 56 ГБ, или 52 ГиБ. Применён смешанный профиль квантования BALANCED_MAX_PROTECTED: основные компоненты используют форматы от Q4_K до Q8_0, а критичные малые тензоры сохраняются в BF16/F32. Ключевое преимущество сборки — сохранение более высокой точности основных весов за счёт уменьшения крупной таблицы n-грамм вместо агрессивного квантования всей модели до Q2/Q3. Это делает модель практичнее на машине с 64 ГиБ RAM, оставляя место для контекста, KV-кэша, рабочих буферов и операционной системы. Ограничениями являются большой объём файла, зависимость от актуальной версии llama.cpp с поддержкой Qwen3.8/qwen4exp и возможная потеря части информации PLE из-за удаления 12 из 16 голов. Фактическое потребление памяти зависит от размера контекста, настроек llama.cpp, GPU-offload и используемого backend.

Qwen-SEA-LION-v4-4B-VL — мультимодальная модель с 4 млрд параметров, разработанная AI Products Pillar компании AI Singapore при финансировании Национального исследовательского фонда Сингапура. Она создана дообучением Qwen/Qwen3-VL-4B-Instruct на примерно 9 млн примеров инструкций для адаптации к языкам и культурному контексту Юго-Восточной Азии. Модель использует архитектуру Qwen3-VL и принимает изображения и текст, отвечая текстом; поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для визуальных вопросов и ответов, описания изображений, OCR, многоязычного общения и других задач на стыке текста и изображений. В первую очередь она адаптирована к бирманскому, индонезийскому, филиппинскому, малайскому, тамильскому, тайскому и вьетнамскому языкам; также обучалась на английском. Заявленное окно контекста — 256 тыс. токенов. Оценки охватывают общие языковые задачи, диалог, следование инструкциям, визуальные вопросы и описание изображений. Лицензия — MIT. Авторы отмечают, что модель не проходила выравнивание по безопасности и не проверялась на устойчивость к состязательным запросам; возможны галлюцинации и нерелевантные ответы, поэтому результаты следует проверять.

SauerkrautLM Mixtral 8X7B Instruct — это инструкционная языковая модель на архитектуре Mixtral, разработанная VAGO solutions и представленная в квантованном формате GGUF командой TheBloke. Она предназначена для генерации текста и диалогового взаимодействия, включая выполнение пользовательских инструкций, ответы на вопросы и локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. Модель основана на SauerkrautLM-Mixtral-8x7B-Instruct и использует архитектуру Mixtral 8x7B. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит для инференса на CPU и GPU. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков. Для форматирования запросов используется шаблон Mistral [INST] {prompt} [/INST]. При обучении или доработке применялся датасет argilla/distilabel-math-preference-dpo. К сильным сторонам относятся инструкционная настройка, многоязычность и широкий выбор уровней квантования, позволяющий адаптировать требования к памяти и производительности. Ограничения включают возможные потери качества из-за квантования, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в предоставленных данных сведений о размере контекста и детальных результатах оценки. Указана лицензия Apache-2.0.

SlimOpenOrca-Mistral-7B-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 от Mistral AI и SlimOpenOrca-Mistral-7B от Weyaxi методом slerp. Она предназначена для генерации текста и ответов на инструкции в формате диалога. Модель построена на архитектуре Mistral с 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Веса представлены в формате Safetensors; лицензия — Apache 2.0. В карточке не приведены сведения о целевых языках и специализированных предметных областях.

SlimOrca-Llama-3-8B-GGUF — это квантизированная GGUF-версия текстовой генеративной модели SlimOrca-Llama-3-8B, разработанная на основе оригинальной модели ajibawa-2023/SlimOrca-Llama-3-8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель обучена на наборах данных Open-Orca/SlimOrca и ajibawa-2023/SlimOrca-ShareGPT. Модель предназначена для генерации текста и диалоговых сценариев на английском языке, включая ответы на вопросы, решение задач с выбором ответа, суммаризацию, написание обзоров, формулирование гипотез, создание историй и статей. Архитектура относится к семейству Llama 3, размер — 8 миллиардов параметров. Модель поддерживает текстовую модальность; размер контекста в README не указан. Для работы рекомендуется форматирование запросов по шаблону с ролями system, user и assistant. Репозиторий содержит варианты квантизации от IQ1 до Q8 с размером файлов примерно от 2,01 до 8,54 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS отмечены как рекомендуемые благодаря удачному соотношению качества и размера. Более компактные варианты снижают требования к оперативной памяти, но могут заметно уступать в качестве; IQ1-варианты имеют крайне низкое качество и не рекомендуются. Лицензия модели — Apache-2.0.

smol-7b-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral для генерации ответов на инструкции и диалоговые запросы. Она создана методом SLERP merge из mistralai/Mistral-7B-Instruct-v0.1 и rishiraj/smol-7b; в конфигурации указана базовая модель mistralai/Mistral-7B-Instruct-v0.1. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и принимает текст для генерации текста. Нативный контекст составляет 32 768 токенов. В карточке указан английский язык, формат весов — safetensors, лицензия — Apache-2.0.

SmolLM3-3B — открытая языковая модель с 3 млрд параметров, разработанная HuggingFaceTB и преобразованная в формат LiteRT-LM для локального запуска на устройствах и компьютерах. Это decoder-only модель для генерации текста, диалогов, рассуждений и других задач, поддерживаемых базовой SmolLM3. Модель ориентирована на сценарии on-device и edge-инференса, включая Android-смартфоны, iPhone, Raspberry Pi, настольные системы и локальный OpenAI-совместимый API-сервер. Представленная версия использует блочную симметричную int4-квантизацию с размером блока 32 и оптимальным клиппингом OCTAV; эмбеддинги имеют формат INT8, вычисления выполняются в целочисленном формате. Файл основной версии занимает около 1,9 ГБ, контекст KV-кэша ограничен 4096 токенами. В архитектуре базовой модели заявлены GQA, расписание внимания NoPE, мультиязычная поддержка и обучение на длинном контексте. В комплект входят токенизатор и шаблон ChatML, поэтому отдельные файлы токенизатора не требуются. Сильные стороны модели — небольшой размер для класса 3B, открытая лицензия Apache-2.0, поддержка полностью локального инференса и наличие GPU-ускорения на совместимых устройствах. Производительность зависит от оборудования: в приведённых измерениях она достигала 93,2 токена/с при декодировании на Apple M4 Max и 22,5 токена/с на iPhone 17 Pro. Ограничения включают потери качества и возможные особенности поведения, связанные с int4-квантизацией, фиксированный контекст 4096 токенов и зависимость скорости от конкретного LiteRT-LM backend, устройства и объёма доступной памяти.

StructuredThinker-v0.2-MoreStructure — объединённая автором Ahdoot языковая модель для генерации текста и диалогового взаимодействия. Она создана методом DARE TIES с помощью mergekit на основе Qwen/Qwen2.5-3B-Instruct с включением prithivMLmods/QwQ-LCoT-3B-Instruct и PowerInfer/SmallThinker-3B-Preview. Модель имеет плотную архитектуру Qwen2 с 3,1 млрд параметров, рассчитана на контекст до 32 768 токенов и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для диалогов, следования инструкциям и генерации структурированных ответов; интерфейс также предусматривает вызов инструментов. Карточка не сообщает отдельные результаты оценки качества или список поддерживаемых языков. Лицензия в предоставленных данных не указана.

Карточка модели tokyotech-llm/Swallow-13b-instruct-v0.1 на Hugging Face совпадает с карточкой tokyotech-llm/Swallow-7b-instruct-v0.1, поэтому описание составлено по ней. Swallow-7b-instruct-v0.1 — диалоговая языковая модель TokyoTech-LLM на архитектуре Llama 2 с 6,7 млрд параметров. Она прошла дополнительное предварительное обучение преимущественно на японских текстах, а версия instruct — supervised fine-tuning для следования инструкциям. Токенизатор с расширенным японским словарём эффективнее представляет японский текст. Модель принимает текст и генерирует текст; заявленный контекст — 4096 токенов. Модель предназначена для диалогов и выполнения текстовых инструкций на японском и английском языках: написания текстов, ролевых диалогов, ответов на вопросы, рассуждений и извлечения информации. В README опубликованы оценки на японском MT-Bench и сравнение с другими моделями, однако они не гарантируют качества для каждого сценария. Выпуск v0.1 обозначен как предварительная версия; разработчики предупреждают, что модель ещё не настроена на соответствие человеческим намерениям и требованиям безопасности. Лицензия — Llama 2 Community License (llama2).

Triangulum-10B — инструкция-настроенная большая языковая модель от prithivMLmods для многоязычной генерации текста и диалоговых задач. Она основана на авторегрессионной архитектуре LLaMA; карточка описывает обучение с учителем и RLHF, а также использование синтетических данных с длинными цепочками рассуждений. В репозитории указаны 9,9 млрд параметров, контекст до 32 768 токенов и веса Safetensors для Transformers. Модель предназначена для генерации контента, ответов на вопросы, диалога, суммаризации, анализа текста и перевода. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. README также приводит запуск через Ollama, однако конкретное качество по языкам и задачам не подтверждено оценками. Лицензия указана как Llama 3.1; следует учитывать её условия использования.

Sakalti/ultiima-32B — объединённая модель генерации текста, созданная автором репозитория с помощью mergekit и метода TIES на основе Qwen/Qwen2.5-32B с участием Qwen/Qwen2.5-32B-Instruct. Модель имеет плотную архитектуру Qwen2ForCausalLM и 32 млрд параметров; веса представлены в формате safetensors. Метаданные указывают контекст до 131 072 токенов и интерфейс для диалога и вызова инструментов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно использовать для составления ответов, следования инструкциям и задач общего назначения; базовая инструктивная модель также ориентирована на программирование, математику и структурированные ответы. README приводит результаты оценок IFEval и BBH, но не описывает отдельную специализацию или гарантии качества. Поддержка русского языка явно не заявлена. Лицензия модели — Apache-2.0. README содержит конфигурацию слияния и часть результатов Open LLM Leaderboard; эти показатели не устанавливают качество для конкретных прикладных сценариев.