I.11Классификация, ранжирование и сопоставление

Airoboros 33B GPT-4 1.2 — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, дообученная Джоном Дёрбином методом QLoRA на синтетических инструкционных данных, созданных GPT-4. Версия 1.2 расширяет набор данных версии 1.1 и добавляет примеры, позволяющие запрашивать код в простом формате без Markdown-обрамления. Модель предназначена для диалоговых инструкций, генерации кода, математических задач и рассуждений, викторин, ролевого общения, вопросов с выбором ответа и ответов по заданному контексту. Обучающий набор также включает задания на понимание намерений и общие темы. Модель принимает текстовые запросы и генерирует текст; карточка описывает шаблон чата с ролями USER и ASSISTANT. Родной контекст составляет 2048 токенов. Модель ориентирована на широкий круг текстовых задач и включает примеры кода для разных языков программирования и библиотек. Автор отмечает, что режим PLAINFORMAT работает не всегда. Это ранняя версия модели, выпущенная в 2023 году; её лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

airoboros-l2-13b-2.2.1 — экспериментальная инструкция-ориентированная языковая модель на архитектуре Llama с 12,9 млрд параметров, созданная Джоном Дурбином на основе преимущественно синтетических данных. Это обновлённая версия airoboros-l2-13b-2.2: в ней заново сгенерированы ответы для задач письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры и изменена степень снятия ограничений. Модель предназначена для выполнения инструкций, ответов на вопросы по предоставленному контексту, суммаризации, генерации текста и кода, а также формирования аргументов функций в JSON или YAML. Для диалога используется текстовый формат с метками USER и ASSISTANT; контекст составляет 4096 токенов. Модель не ориентирована прежде всего на непринуждённый чат и ролевую игру. Карточка характеризует модель как экспериментальную и предупреждает, что при ответах вне заданного контекста она может выдумывать сведения; для закрытых вопросов рекомендуется явно просить не придумывать ответ при недостатке информации. Распространяется по лицензии Llama 2.

airoboros-l2-70b-2.2.1 — экспериментальная языковая модель автора jondurbin, основанная на Llama 2 и дообученная на преимущественно синтетических данных Airoboros 2.2.1. Это обновлённая версия airoboros-l2-70b-2.2: в ней заново сгенерированы ответы для письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры, смягчена степень снятия ограничений и проведено четыре эпохи обучения. Модель предназначена для выполнения инструкций и генерации текста общего назначения, включая ответы на вопросы по заданному контексту, суммаризацию, написание текстов и помощь с кодом. Архитектура — плотная LlamaForCausalLM примерно на 68,7 млрд параметров; поддерживает контекст до 4096 токенов. Карточка также описывает генерацию аргументов функций и планов выполнения, но для реального вызова инструментов требуется внешняя система. Для диалога используется текстовый формат с метками USER и ASSISTANT. В карточке указана лицензия Llama 2. Автор предупреждает, что квантование Q4_0 работает некорректно; также советует настроить остановку генерации на маркере USER, чтобы модель не продолжала диалог от имени собеседника.

Cohere и Cohere Labs разработали Command R 08-2024 — авторегрессионную языковую модель с открытыми весами на 32 млрд параметров. Она использует оптимизированную архитектуру Transformer с grouped-query attention и после предварительного обучения прошла supervised fine-tuning и обучение на предпочтениях. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и обучена на 23 языках. Модель предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы. Она умеет формировать ответы на основе предоставленных фрагментов документов с указанием цитируемых источников, что подходит для grounded generation и этапа генерации ответа в RAG-системах. Также предусмотрен вызов внешних инструментов в один шаг: модель выбирает инструмент и формирует параметры вызова, а выполнение выполняет приложение. В карточке указаны обучение на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, арабском, китайском, русском, польском, турецком, вьетнамском, нидерландском, чешском, индонезийском, украинском, румынском, греческом, хинди, иврите и персидском; оценивание проводилось на десяти языках. Для корректной работы с цитированием и вызовом инструментов нужны рекомендованные шаблоны запросов. Лицензия CC-BY-NC-4.0 требует соблюдения Acceptable Use Policy Cohere Labs и ограничивает коммерческое использование.

Квантизированная 4-битная версия большой языковой модели Command R+ от CohereForAI, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm. Модель предназначена для генерации текста в диалогах, ответов на вопросы, работы с внешними инструментами и генерации ответов, основанных на предоставленных документах и источниках.

Это BF16-версия DeepSeek-R1-0528, опубликованная Unsloth на основе модели DeepSeek-R1-0528 от DeepSeek. Репозиторий предназначен для конвертации весов и экспериментов; модель представляет собой плотную авторегрессионную языковую модель семейства DeepSeek-V3 с 37,6 млрд параметров, доступную в формате Safetensors и рассчитанную на контекст до 163 840 токенов. Модель подходит для диалогов и генерации текста с углублённым рассуждением, в том числе для решения математических задач, программирования и задач на общую логику. Также заявлены улучшенная поддержка вызова функций и снижение частоты галлюцинаций по сравнению с предыдущей версией. Для модели указана лицензия MIT. Фактическая точность ответов не гарантируется, а длинные рассуждения могут требовать значительного числа токенов.

DeepSeek-R1-Distill-Qwen-7B-bnb-4bit — это 4-битно квантованная версия модели DeepSeek-R1-Distill-Qwen-7B, опубликованная Unsloth и основанная на базовой модели deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Модель относится к семейству плотных языковых моделей Qwen, дистиллированных из DeepSeek-R1, и предназначена для исследовательских и прикладных задач, требующих рассуждений, включая решение математических задач, программирование, анализ и генерацию текста. В README также упоминается применение для диалоговых сценариев и текстового завершения через экосистему Transformers и инструменты Unsloth. Модель имеет размер 7B параметров и поддерживает английский язык; другие языки и мультимодальные возможности в предоставленных данных не указаны. Суффикс bnb-4bit указывает на 4-битное представление в формате, связанном с bitsandbytes, что снижает требования к памяти и делает запуск доступнее на ограниченных по ресурсам GPU, однако может сопровождаться компромиссом между качеством и точностью по сравнению с полной точностью. Архитектурные детали и размер контекста в README не приведены. Сильной стороной модели являются возможности рассуждения, унаследованные от DeepSeek-R1 и дистиллированные в компактную 7B-модель, а также более экономичное потребление памяти благодаря квантованию. Ограничения включают возможные ошибки, недостаточную читаемость или смешение языков, характерные для reasoning-моделей и упомянутые в контексте исходного семейства; конкретные результаты для этой версии не указаны. Модель распространяется по лицензии Apache-2.0.

Dolphin 2.9.2 Phi 3 Medium — языковая модель, дообученная Eric Hartford, Lucas Atkins, Fernando Fernandes и сообществом Cognitive Computations на базе Phi-3-Medium-Instruct-4k. Это плотная модель для генерации текста и диалогов; README указывает обучение с qLoRA на последовательностях длиной 4k, а метаданные — архитектуру MistralForCausalLM и 13,8 млрд параметров. Модель использует шаблон запросов ChatML и рассчитана на английский язык. Модель предназначена для выполнения инструкций, общения, задач программирования и начальных агентных сценариев, включая вызов функций. В README упомянуты обучение на наборах инструкций, диалогов, кода и математических задач. Контекст ограничен 4096 токенами. По словам авторов, модель не полностью очищена от отказов; они советуют настроить собственный слой выравнивания перед предоставлением модели как сервиса. Лицензия — MIT. README предупреждает, что модель более склонна выполнять запросы и возлагает ответственность за создаваемый контент на пользователя.

ECE-TW3-JRGL-V2 — чат-модель объёмом 71 млрд параметров, созданная слиянием моделей Qwen/Qwen1.5-72B-Chat и vilm/Quyen-Pro-Max-v0.1 с помощью mergekit. Она предназначена для диалогов и генерации текста, включая ответы на запросы в формате чата. Модель построена на плотной архитектуре Qwen2 и принимает текст, выдавая текст; длина контекста составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

FuseMix-3.2-3B — объединённая языковая модель, опубликованная bunnycore и созданная с помощью mergekit методом passthrough на основе FuseAI/FuseChat-Llama-3.2-3B-Instruct и bunnycore/Llama-3.2-3B-General-lora_model. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров, рассчитанная на диалоговое взаимодействие и генерацию текста; заявленная длина контекста — 131 072 токена. Модель доступна в формате safetensors и использует библиотеку Transformers. Она подходит для диалогов, ответов на инструкции и генерации текста; описание базовой FuseChat также указывает на задачи математики и программирования. Языковые возможности с достаточной определённостью не перечислены, поэтому конкретные языки не указаны. Данных о лицензии в предоставленной карточке нет.

Карточка модели unsloth/gemma-3-12b-it-qat на Hugging Face совпадает с карточкой Lightricks/gemma-3-12b-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Lightricks публикует эту версию Gemma 3 — мультимодальную модель Google Gemma 3 12B IT с инструкционной настройкой, представленную в формате safetensors. Она принимает текст и изображения и генерирует текст; подходит для диалога, ответов на вопросы по изображениям, извлечения визуальной информации, суммаризации и других задач по текстовым инструкциям. Модель относится к семейству Gemma 3 с плотной архитектурой Gemma3ForConditionalGeneration и основана на google/gemma-3-12b-it. В карточке семейства указаны контекстное окно до 128 тысяч токенов и поддержка более 140 языков. Модель рассчитана на применение в чат-ботах, виртуальных помощниках, создании и редактировании текстов, а также для понимания изображений; её размер допускает локальное развёртывание на подходящем оборудовании. Качество ответов зависит от данных и формулировки запроса: возможны ошибки в фактах, предвзятость и трудности с нюансами языка и сложными задачами. Модель распространяется по лицензии Gemma. Для использования следует соблюдать условия этой лицензии и политику допустимого использования Gemma.

Это экспериментальная дообученная версия Gemma 4 26B A4B IT, подготовленная glyphsoftware с помощью Unsloth. Модель обучена методом supervised fine-tuning на примерно 8,7 тыс. примеров рассуждений, дистиллированных из Claude Opus 4.6 и 4.7. Она предназначена для диалогов и генерации текста с упором на многошаговое рассуждение, планирование и самопроверку; поддерживает интерфейс вызова инструментов. Основа — мультимодальная архитектура Gemma4ForConditionalGeneration с экспертной архитектурой MoE. Базовая модель принимает текст, изображения, аудио и видео; README заявляет контекст до 262 тыс. токенов. Метаданные указывают формат safetensors и лицензию GPL-3.0. Обучающие примеры акцентируют математику, код, логику и разбиение задач на шаги. Мультимодальные возможности унаследованы от базовой модели и специально не улучшались этим дообучением. Небольшой обучающий набор скорее влияет на стиль рассуждений, чем обеспечивает широкий прирост возможностей; возможны ошибки и перенос особенностей стиля и отказов Claude. Дополнительная настройка безопасности не проводилась, поэтому для высокорисковых сценариев нужны проверка человеком и собственные защитные меры.

ZHENDANG/Gemma-4-31B-JANG_4M-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-31b-it. Это доработанная методом abliteration версия плотной архитектуры Gemma 4 с 31 млрд параметров, гибридным скользящим и глобальным вниманием и сохранённым визуальным энкодером. Модель предназначена для диалогов, рассуждений, программирования и ответов на запросы по тексту и изображениям; поддерживает режим thinking. В README авторы сообщают о высокой доле ответов на вредоносные запросы в их тесте HarmBench и о прохождении проверок по кибербезопасности и пентестингу. Эти результаты отражают заявленные авторами тесты и не гарантируют качество в других сценариях. Для запуска рекомендован vMLX на компьютерах Apple Silicon с не менее чем 32 ГБ объединённой памяти; указано, что стандартные mlx_lm и mlx_vlm на момент подготовки карточки модель не поддерживают. Модель распространяется по лицензии Gemma; авторы указывают исследовательское назначение и ответственность пользователя за соблюдение законов.

alpindale/gemma-7b — текстовая авторегрессионная модель семейства Gemma, разработанного Google на основе исследований и технологий, применявшихся для Gemini. Это плотная decoder-only модель с 8,2 млрд параметров; карточка указывает поддержку английского языка и контекст до 8192 токенов. Модель принимает текст и генерирует текст, подходит для ответов на вопросы, суммаризации, диалога, создания текстов и рассуждений. Модель можно запускать через Transformers; сравнительно небольшой размер позволяет использовать её на персональных компьютерах и собственной облачной инфраструктуре. В репозитории указаны веса в формате safetensors. README описывает Gemma как семейство с предварительно обученными и дообученными для инструкций вариантами, но не уточняет отдельно тип этого чекпойнта. Лицензия в предоставленных данных не указана. Как и другие языковые модели, она может выдавать фактически неверные ответы, отражать предвзятость обучающих данных и испытывать трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Для пользовательских приложений следует оценивать качество ответов и применять меры безопасности.

QuantTrio/GLM-5.2-Int4-Int8Mix — квантизированная версия языковой модели GLM-5.2, разработанной командой zai-org. Репозиторий содержит data-free квантизацию без использования калибровочного набора данных и подготовлен прежде всего для инференса через vLLM с форматом compressed-tensors. Модель предназначена для генерации текста, диалоговых приложений, программирования и выполнения сложных долгосрочных задач. Базовая GLM-5.2 поддерживает контекст до 1 млн токенов и использует архитектурные улучшения IndexShare, разреженное внимание и MTP для спекулятивного декодирования. В данной версии применено смешанное weight-only-квантизирование: обычные линейные веса преимущественно W8A16, веса MoE-экспертов W4A16, с group size 128; отдельные компоненты сохранены в BF16, FP32 или квантизированы поканально. Размер файлов модели составляет около 378 GiB. Основное преимущество версии — снижение требований к памяти по сравнению с полноразмерными весами при сохранении высокой производительности. В приведённом ориентировочном тесте AIME25 результат составил 92,92% при reasoning_effort=max и 86,46% при medium-high, однако это не является полноценным формальным бенчмарком. Ограничение — заявлена совместимость прежде всего с vLLM и compressed-tensors; совместимость с SGLang и другими runtime не гарантируется. Проверка проводилась на конфигурации из 8 GPU H200 с vLLM 0.23.0 и Transformers 5.12.1. Модель распространяется по лицензии MIT.

GPT-6.1 Sol Pro — вариант GPT-6.1 Sol, который, согласно карточке модели, использует ту же базовую модель с режимом reasoning.mode=pro для более качественных ответов на сложные задачи. Это модель для диалогового взаимодействия и решения сложных задач; подробности об архитектуре, размере, модальностях и поддерживаемых языках в предоставленных данных отсутствуют. Режим Pro расходует значительно больше ресурсов, поэтому его применение может быть дороже.

Карточка модели emplitude/Hermes-2-Pro-Llama-3-8B на Hugging Face совпадает с карточкой NousResearch/Hermes-2-Pro-Llama-3-8B, поэтому описание составлено по ней. Hermes 2 Pro — диалоговая языковая модель Nous Research, разработанная совместно с @interstellarninja и Fireworks.AI. Это дообученная плотная модель семейства Llama 3 с 7,5 млрд параметров, основанная на NousResearch/Meta-Llama-3-8B. Она предназначена для диалогов и выполнения инструкций, а также для вызова функций и генерации структурированных ответов в JSON. Модель обучалась на обновлённом и очищенном датасете OpenHermes 2.5 и дополнительных наборах данных для вызова функций и JSON-режима. Модель использует формат диалога ChatML и поддерживает многошаговое взаимодействие с инструментами через специальный шаблон. Контекст составляет 8192 токена. В карточке указана поддержка английского языка; веса доступны в формате Safetensors. Лицензия — Llama 3 License.

Hermes 2 Pro — диалоговая языковая модель Nous Research, разработанная совместно с @interstellarninja и Fireworks.AI. Это дообученная плотная модель семейства Llama 3 с 7,5 млрд параметров, основанная на NousResearch/Meta-Llama-3-8B. Она предназначена для диалогов и выполнения инструкций, а также для вызова функций и генерации структурированных ответов в JSON. Модель обучалась на обновлённом и очищенном датасете OpenHermes 2.5 и дополнительных наборах данных для вызова функций и JSON-режима. Модель использует формат диалога ChatML и поддерживает многошаговое взаимодействие с инструментами через специальный шаблон. Контекст составляет 8192 токена. В карточке указана поддержка английского языка; веса доступны в формате Safetensors. Лицензия — Llama 3 License.

INTELLECT-1-Instruct-GGUF — набор GGUF-квантизированных версий инструкционной языковой модели INTELLECT-1-Instruct от PrimeIntellect. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель предназначена для генерации текста по инструкциям и может запускаться локально, в том числе через LM Studio. Доступны варианты от полноразмерных F32 и F16 до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4. Размер файлов составляет примерно от 5,6 до 40,85 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Указан английский язык; поддерживаются текстовые сценарии, включая общение по инструкциям, программирование, математику и работу с данными обучения, перечисленными в карточке. Архитектура, число параметров, максимальный контекст и мультимодальные возможности в README не указаны. Сильная сторона набора — широкий выбор квантизаций для локального запуска и наличие вариантов, оптимизированных для отдельных ARM-конфигураций. Ограничения зависят от выбранного варианта: более компактные квантизации могут снижать качество, а некоторые ARM-версии требуют конкретных аппаратных возможностей и не рекомендуются для Mac или GPU. Модель распространяется по лицензии Apache-2.0.

InternLM2-20B — плотная языковая модель второго поколения семейства InternLM, разработанная командой InternLM и представленная в репозитории internlm. Она предназначена для генерации и продолжения текста, а также может служить основой для адаптации под предметные области. В опубликованных оценках показаны способности к рассуждению, математике и программированию; карточка также описывает поддержку длинных контекстов. Модель содержит 19,3 млрд параметров, построена на архитектуре InternLM2ForCausalLM и распространяется в формате PyTorch. Метаданные указывают контекст до 32 768 токенов. В README заявлена поддержка до 200 000 символов для базовой модели InternLM2; это значение не следует приравнивать к числу токенов и оно может зависеть от конфигурации конкретного чекпойнта. Карточка приведена на китайском и английском языках, но точный перечень языков модели не указан. Модель подходит для продолжения текста и как языковая основа для задач общего назначения, включая рассуждения, математику и код. Это базовая версия, а не чат-версия InternLM2-Chat, поэтому оптимизация для диалога и следования инструкциям здесь не заявлена. Генерация может содержать ошибки, предвзятость или вредные ответы. Код лицензирован по Apache-2.0; веса открыты для академических исследований, а коммерческое использование требует получения бесплатного разрешения.

deltanym/llama-3.1-120b-instruct — текстовая разговорная модель, созданная методом слияния через mergekit на основе meta-llama/Llama-3.1-70B-Instruct. В карточке указана конфигурация passthrough; модель использует плотную архитектуру семейства Llama и формат safetensors. Метаданные указывают 120,8 млрд параметров и контекстное окно до 131 072 токенов. Модель предназначена для генерации текста и диалогового общения, включая сценарии с интерфейсом вызова инструментов. В основе лежит многоязычная instruct-модель Meta; README описывает её как воспроизведение Meta-Llama-3-120B-Instruct с использованием Llama 3.1 70B вместо Llama 3. Лицензия в предоставленных данных не указана.

Карточка модели ModelCloud/Llama3.2-1B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

Карточка модели 1024m/Llama-3.2-3B-Base на Hugging Face совпадает с карточкой alpindale/Llama-3.2-3B, поэтому описание составлено по ней. alpindale/Llama-3.2-3B — текстовая модель семейства Llama 3.2, разработанного Meta. Это авторегрессионная плотная трансформерная модель с 3,2 млрд параметров и архитектурой LlamaForCausalLM; репозиторий содержит веса Safetensors для Transformers. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на многоязычную генерацию. Модель подходит для диалогового помощника, суммаризации, поиска знаний и приложений с агентными сценариями, а также для мобильных помощников по написанию текста и переформулирования запросов. В README описаны применение и возможности семейства Llama 3.2; отдельное дообучение alpindale/Llama-3.2-3B не подтверждено, поэтому характеристики поведения конкретного чекпойнта могут отличаться от описания семейства. Заявленные языки поддержки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия llama3.2 — пользовательская лицензия сообщества Meta с собственными условиями коммерческого использования и политикой допустимого использования. Модель обучена на статическом офлайн-наборе данных; как компактная модель, она может уступать более крупным системам по качеству и требует проверки безопасности и пригодности для конкретного применения.

Это конвертированная в формат MLX версия Llama 3.3 70B Instruct от Meta, опубликованная сообществом mlx-community. Модель с плотной архитектурой LlamaForCausalLM содержит 69,5 млрд параметров и предназначена для генерации текста и диалоговых сценариев; также поддерживает интерфейс вызова инструментов. Веса представлены в формате safetensors с точностью fp16, а нативный контекст составляет до 131 072 токенов. Модель поддерживает английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Для использования требуется MLX; README указывает конвертацию из meta-llama/Llama-3.3-70B-Instruct с помощью mlx-lm 0.22.2. Лицензия — Llama 3.3 License; перед использованием следует соблюдать её условия. Это крупная модель, поэтому для запуска требуются соответствующие аппаратные ресурсы.

Llama-3.3-70B-Instruct-FP8-KV — квантизированная версия модели meta-llama/Llama-3.3-70B-Instruct, подготовленная Advanced Micro Devices (AMD) с использованием Quark и калибровочных образцов из набора данных Pile. Модель предназначена для задач генерации текста и диалоговых сценариев, поддерживаемых исходной instruct-моделью Llama 3.3, с эффективным инференсом на совместимой инфраструктуре. Ключевая особенность — FP8-квантизация: все линейные слои, кроме lm_head, используют симметричное по тензору представление FP8 для весов и активаций, а KV-cache также хранится в FP8. Модель экспортируется в формат Quark safetensors и совместима с развертыванием через backend vLLM. Указан результат на perplexity для wikitext2: 3,9622 против 3,8624 у исходной модели; авторы отмечают, что оценка выполнена в режиме псевдоквантизации и может отличаться от точности при фактическом инференсе. Лицензия обозначена как llama3.3; применяются условия лицензии Meta для Llama 3.3, при этом модификации принадлежат Advanced Micro Devices, Inc. Для использования требуется совместимая среда Quark и поддержка FP8 со стороны оборудования и backend.

Llama-3-8B-Magpie-Align-SFT-v0.2 — разговорная языковая модель, дообученная командой Magpie-Align на базе meta-llama/Meta-Llama-3-8B. Для обучения использованы наборы Magpie-Pro-MT-300K-v0.1 и Magpie-Reasoning-150K с примерами математики, программирования и рассуждений. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 8192 токенов. Модель предназначена для ответов на инструкции и диалоговых сценариев, включая задачи на рассуждение, математику и код. В README сообщаются результаты на MT-Bench, Alpaca Eval 2 и Arena Hard, но они не гарантируют качество на конкретных запросах. Для лучшей работы рекомендуется официальный шаблон чата Llama 3. Модель рассчитана прежде всего на английский язык. Распространяется по лицензии Meta Llama 3 Community License; применяются условия этой лицензии.

Llama-3-8B-ProLong-512k-Instruct — длинноконтекстная чат-модель Princeton NLP, созданная продолженным обучением и дообучением с учителем на основе Meta-Llama-3-8B-Instruct. Она рассчитана на генерацию ответов и работу с инструкциями при анализе больших объёмов текста. Модель имеет плотную архитектуру LlamaForCausalLM и 7,5 млрд параметров, принимает контекст длиной до 524 288 токенов. Для адаптации к длинным текстам модель обучали на данных ProLong с контекстами до 64K и 512K токенов; инструкционное дообучение проводилось на UltraChat. Авторы сообщают о сильных результатах в оценке длинноконтекстных моделей HELMET. Модель поддерживает диалоговый сценарий, но README не перечисляет конкретные языки и не приводит подробностей о качестве на отдельных задачах. Лицензия — Llama 3 (llama3).

LongAlign-13B-64k — языковая модель семейства LLaMA, опубликованная командой LongAlign. Она предназначена для генерации текста и выполнения инструкций в длинных контекстах. Проект описывает обучение на наборе LongAlign-10k из 10 000 инструкций длиной 8–64 тыс. токенов и оценивает следование инструкциям на запросах длиной 10–100 тыс. токенов. Модель содержит 12,9 млрд параметров, принимает текст и имеет заявленное контекстное окно 65 536 токенов. В метаданных указаны английский и китайский языки; репозиторий содержит веса PyTorch для Transformers. README объясняет подход проекта к выравниванию моделей для длинного контекста, но приведённый фрагмент не уточняет конкретную базовую модель и обучающие детали именно версии 13B-64k. Лицензия — Apache-2.0.

Luciole-8B-Instruct-1.1 — диалоговая причинная языковая модель, дообученная и согласованная с предпочтениями пользователей на базе Luciole-8B-Base. Её разработали LINAGORA и консорциум OpenLLM-France в рамках проекта OpenLLM France. Модель имеет плотную архитектуру Nemotron H; в метаданных указано 16,4 млрд параметров и контекстное окно 131 072 токена, хотя при постобучении использовались последовательности длиной 16 384 токена. Модель предназначена для следования инструкциям и диалога, а также может применяться для вопросов и ответов, математики, науки, программирования, RAG и перевода. Обучение включало два этапа контролируемой настройки и выравнивание предпочтений методом DPO. Она показывает хорошие результаты в следовании инструкциям и французском языке, несмотря на то что постобучение проводилось преимущественно на английских данных; в карточке также указана поддержка английского и французского. Модель может галлюцинировать, а её качество в специализированной генерации кода и решении математических задач требует дополнительного обучения. Карточка рекомендует тщательно проверять модель перед использованием в промышленных системах и при необходимости дополнять её RAG. Распространяется по лицензии Apache 2.0.

marin-8b-instruct-i1-GGUF — это GGUF-квантизированная версия языковой модели marin-8b-instruct, разработанной сообществом marin-community и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста и выполнения инструкций на английском языке. В основе лежит модель размером 8 миллиардов параметров; точные сведения об архитектуре и размере контекстного окна в README не указаны. Обучение или дообучение проводилось с использованием наборов данных для программирования, рассуждений, математики, естественных рассуждений и диалоговых взаимодействий, включая AceCode-87K, Bespoke-Stratos-17k, dolphin-r1, Natural Reasoning, OpenThoughts-114k-math и smoltalk. Основное преимущество — доступность множества вариантов GGUF-квантизации с разным соотношением размера, скорости и качества, что позволяет запускать модель на устройствах с ограниченными ресурсами. При этом низкобитные варианты могут заметно терять в качестве; в README отдельно отмечены ограничения некоторых конфигураций, а рекомендуемым назван вариант i1-Q4_K_M. Модель распространяется по лицензии Apache-2.0.