II.9Статистика, эксперименты и причинный анализ

Карточка модели genevaquant/Hermes-4-14B на Hugging Face совпадает с карточкой NousResearch/Hermes-4-14B, поэтому описание составлено по ней. Hermes 4 14B — плотная языковая модель Nous Research на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-14B. Она предназначена для диалогов и выполнения инструкций, включая задачи рассуждения, математики, программирования, STEM, логики, творческого письма и генерации ответов в заданном формате. Модель поддерживает гибридный режим рассуждений, следование схемам и вывод JSON, а также вызов инструментов при соответствующей настройке шаблона ChatML. Размер модели — 14 млрд параметров, длина контекста — 40 960 токенов; основным указанным языком карточки является английский. Модель распространяется под лицензией Apache-2.0. Для работы следует использовать формат ChatML; качество ответов и вызова инструментов зависит от корректной настройки шаблона и инференсного окружения. Заявления README о сравнительных результатах и улучшениях основаны на описании разработчика и не являются независимой оценкой.

InternLM2.5-7B-Chat — диалоговая языковая модель семейства InternLM2.5, разработанная командой InternLM. Это плотная авторегрессионная модель архитектуры InternLM2 с 7,4 млрд параметров, предназначенная для практических сценариев общения и генерации текста. В README заявлены сильные способности к математическим рассуждениям, работе с длинными контекстами и выбору, вызову и проверке результатов инструментов; метаданные указывают контекстное окно 32 768 токенов. Модель подходит для диалоговых ассистентов, ответов на вопросы, рассуждений и агентных сценариев с инструментами. Карточка приводит результаты OpenCompass и примеры использования через Transformers, vLLM и LMDeploy. В README также заявлена работа с контекстом до миллиона единиц текста при использовании LMDeploy, однако это выходит за пределы длины контекста, указанной в метаданных модели. Основной язык карточки — китайский; модель также предназначена для англоязычных сценариев. Лицензия обозначена как other, поэтому конкретные условия следует проверять в репозитории. Модель может генерировать предвзятые, дискриминационные или иные вредоносные ответы.

Ling-mini-2.0 — компактная разговорная языковая модель семейства Ling 2.0 от inclusionAI, предназначенная для генерации текста, следования инструкциям и решения задач на рассуждение. Это дообученная версия Ling-mini-base-2.0; по метаданным, она использует архитектуру Bailing MoE для причинного языкового моделирования и содержит 1,2 млрд параметров. README описывает семейство Ling-mini-2.0 как разреженную MoE-модель с 16,26 млрд параметров всего и примерно 1,43 млрд активных на токен, обученную на более чем 20 трлн токенов с многоэтапной настройкой и обучением с подкреплением. Модель подходит для диалоговых приложений, сложных рассуждений, математики, программирования и ответов на вопросы, а также предоставляет интерфейс вызова инструментов. Метаданные указывают контекст 32 768 токенов; README сообщает о расширении до 128K с YaRN. Разработчик заявляет о высокой скорости генерации и сильных результатах на тестах рассуждения, однако приведённые показатели зависят от оборудования и режима развёртывания. Веса доступны в формате safetensors, библиотека — Transformers; лицензия MIT.

Llama-3.1-Nemotron-Ultra-253B-v1-FP8 — большая языковая модель NVIDIA, производная от Meta Llama-3.1-405B-Instruct. Это плотный decoder-only Transformer с архитектурой, оптимизированной методом Neural Architecture Search: блоки могут содержать пропущенное внимание, переменное соотношение FFN и объединённые FFN. В README указано 253 млрд параметров; метаданные Hugging Face указывают 697,9 млрд параметров. Модель распространяется в формате FP8 и работает через Transformers. Модель предназначена для рассуждений, диалогов, следования инструкциям, генерации кода, retrieval-augmented generation, вызова инструментов и построения AI-агентов и чат-ботов. Она поддерживает текстовый ввод и вывод с контекстом до 131 072 токенов, а основным языком является английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. NAS-оптимизация направлена на уменьшение потребления памяти и задержки при сохранении качества и позволяет запускать модель на одном узле с 8 H100 для инференса. Модель ориентирована на коммерческое использование, однако требует значительных вычислительных ресурсов и специализированной инфраструктуры. Данные предварительного обучения имеют срез 2023 года, поэтому модель может не знать более свежие факты. Архитектура нестандартна относительно исходной Llama и может требовать совместимого программного стека. Использование регулируется NVIDIA Open Model License и дополнительными условиями Llama 3.1 Community License Agreement.

MiniCPM5-2B MLX 8-bit — это квантованная версия текстовой языковой модели OpenBMB MiniCPM5-2B, подготовленная в формате MLX для локального запуска. Модель имеет плотную Llama-based архитектуру и около 2 млрд параметров; конверсия использует аффинное 8-битное квантование с размером группы 64 и занимает примерно 2,5 ГБ в формате MLX safetensors. Поддерживаются английский и китайский языки, максимальная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста, программирования, рассуждений, задач с длинным контекстом и использования инструментов, включая сценарии локального развертывания через mlx-lm. Это text-only модель: компоненты для обработки изображений и MTP-файлы отсутствуют, поэтому мультимодальные задачи не поддерживаются. Лицензия — Apache-2.0; приведённые в README результаты тестирования относятся к исходной версии MiniCPM5-2B от OpenBMB, а не непосредственно к этой MLX-конверсии.

Natsumura Assistant 1.1 — универсальная чат-модель, разработанная Tohur и дообученная на основе meta-llama/Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama 3.1 с 7,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалогового помощника и генерации текста, включая ответы на вопросы, помощь с кодом и решение математических задач. При обучении использовались наборы данных для инструкционного диалога, программирования, математики и идентичности модели. В README автор характеризует модель как uncensored и отмечает её высокую склонность выполнять запросы, в том числе неэтичные. Модель распространяется в формате safetensors по лицензии Llama 3.1 Community License; для использования действуют её условия. Качество ответов и их безопасность зависят от запроса и сценария применения.

Olmo 3 7B Instruct — авторегрессионная Transformer-модель Allen Institute for AI (Ai2) для диалогов и выполнения инструкций. Модель содержит 6,9 млрд параметров, рассчитана на английский язык и принимает текст, выдавая текст. Контекстное окно — до 65 536 токенов; модель работает через Transformers и распространяется в формате safetensors. Модель создана на основе allenai/Olmo-3-7B-Instruct-DPO и дополнительно обучена на наборе Dolci-Instruct-RL-7B. Она подходит для ответов на вопросы, общего диалога, задач по математике и программированию. Лицензия Apache 2.0; Ai2 указывает исследовательское и образовательное применение согласно своим рекомендациям ответственного использования. Ответы могут содержать фактические ошибки и предвзятость; без дополнительной фильтрации модель может генерировать вредоносный или чувствительный контент. Результаты следует проверять, а при внедрении учитывать необходимость мер безопасности.

Phi-3 Medium-128K-Instruct ONNX DirectML — конвертированная и оптимизированная Microsoft версия языковой модели Phi-3 Medium для генерации текста и диалогов. Модель содержит 13,8 млрд параметров и распространяется в формате ONNX; вариант в репозитории квантован до INT4 методом AWQ и рассчитан на инференс через ONNX Runtime с DirectML на Windows GPU. Модель предназначена для ответов на вопросы, следования инструкциям, рассуждений, работы с математическими и программными задачами и обработки длинных запросов. Исходная модель обучена на синтетических данных и отфильтрованных общедоступных веб-страницах, а её постобучение включало supervised fine-tuning и direct preference optimization. README описывает семейство как поддерживающее контекст до 128K токенов, однако метаданные репозитория указывают native context в 4096 токенов, поэтому доступную длину контекста следует уточнять для конкретной сборки. Сборка ориентирована на ускорение генерации на GPU AMD, Intel и NVIDIA с DirectML; в README приведено тестирование на RTX 4090 и минимальная конфигурация Windows с GPU, совместимым с DirectX 12, и 10 ГБ объединённой RAM. Квантование может влиять на точность, несмотря на заявленное сохранение качества AWQ. Модель разработана Microsoft и распространяется по лицензии MIT.

qwp4w3hyb/Phi-3-mini-128k-instruct-iMat-GGUF — это GGUF-квантизированная версия Phi-3-Mini-128K-Instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров и предназначена для генерации текста, диалоговых приложений и использования в условиях ограниченных ресурсов, где важны низкая задержка, компактность и способность решать задачи рассуждения, программирования, математики и логики. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-данных, а после предварительного обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель поддерживает контекст до 128 тысяч токенов, словарь размером до 32 064 токенов и ориентирована прежде всего на английский язык, хотя в карточке также указана многоязычность. Это текстовая авторегрессионная модель; сведения о конкретной архитектуре и полном наборе поддерживаемых языков не приведены. Данная сборка включает варианты квантизации от Q8_0 до IQ1_S, выполненные с использованием importance matrix в llama.cpp для снижения потерь точности. Для работы требуется актуальная версия llama.cpp master и совместимый GGUF-инференс. Сильные стороны модели — сочетание небольшого размера с заявленной высокой эффективностью среди моделей менее 13 млрд параметров, длинный контекст и хорошие возможности в коде, математике, логике и общем понимании языка. Ограничения включают возможные ошибки и необходимость отдельно проверять точность, безопасность и справедливость результатов, особенно в сценариях с высокими рисками. Модель выпущена под лицензией MIT; конкретный выбранный уровень квантизации может влиять на качество и требования к ресурсам.

EasierAI/Phi-4-14B — текстовая языковая модель на 14 млрд параметров, разработанная Microsoft Research и основанная на Microsoft Phi-4. В данном варианте модель преобразована в архитектуру, совместимую с Llama, для более удобного использования и дообучения; также заявлены исправления Unsloth. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач и программирования. Она принимает текстовые входы и лучше всего работает с запросами в чат-формате. Модель представляет собой плотный decoder-only Transformer с контекстом до 16 000 токенов и поддерживает английский язык. Phi-4 обучалась на сочетании синтетических данных, отфильтрованных общедоступных веб-источников, академических книг и наборов вопросов и ответов, а для улучшения поведения использовались supervised fine-tuning и direct preference optimization. К сильным сторонам относятся ориентация на качественные данные, развитое рассуждение, следование инструкциям и возможности для локального запуска и дообучения в форматах, поддерживаемых экосистемой Unsloth и llama.cpp. Ограничения включают текстовую модальность, заявленную специализацию на английском языке и необходимость учитывать ресурсы, требуемые для запуска 14B-модели; конкретные показатели качества в README не приведены. Лицензия указана как MIT. README описывает этот репозиторий как конверсию Phi-4 и ссылается на базовую модель microsoft/phi-4; сведения о точном формате или квантовании данной версии в предоставленных данных отсутствуют.

Qemma-GEI — компактная гибридная языковая модель от Convergent Intelligence LLC: Research Division, дообученная для следования инструкциям и пошаговых рассуждений. По карточке модели, её основа объединяет веса Gemma 3 и Qwen 3: используется корпус Gemma и MLP вместе с модифицированными механизмами внимания Qwen, а затем модель дообучается методом SFT. В метаданных архитектура обозначена как Gemma 3 Text с плотным декодером Gemma3ForCausalLM; указан размер 1 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалогов, анализа, помощи с кодом и дальнейшего дообучения. В карточке заявлены токенизатор Gemma 3, шаблон чата и масштабирование RoPE на основе YaRN. Данные обучения включают UltraChat 200k и MathInstruct; заявлена поддержка английского языка. Лицензия — OSL-3.0. Модель может ошибаться и галлюцинировать. Авторы не рекомендуют использовать её для решений в критически важных, медицинских, юридических или финансовых ситуациях.

unsloth/Qwen2.5-3B-unsloth-bnb-4bit — 4-битная квантизированная версия языковой модели Qwen2.5-3B, подготовленная Unsloth на базе Qwen/Qwen2.5-3B. Модель предназначена для генерации и обработки текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Это текстовая causal language model без заявленной поддержки изображений или других модальностей. Модель ориентирована на многоязычное использование и заявляет поддержку китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского, арабского и других языков. Для семейства Qwen2.5 указана поддержка контекста до 128K токенов и генерации до 8K токенов, однако README не приводит отдельные параметры контекста именно для версии 3B. Ключевое преимущество этой сборки — снижение требований к памяти благодаря 4-битному формату Unsloth Dynamic 4-bit, который, по заявлению разработчика, лучше сохраняет точность по сравнению со стандартной 4-битной квантизацией. Ограничения включают возможную потерю точности из-за квантизации и отсутствие в README результатов независимого бенчмаркинга именно этой сборки. README также предупреждает, что базовые языковые модели не рекомендуются для диалогового использования без дополнительной настройки. Модель распространяется по лицензии Apache-2.0.

Tolu49ja/Qwen3-4B-Instruct-2507-heretic — производная чат-модель семейства Qwen3, созданная на основе Qwen/Qwen3-4B-Instruct-2507 методом abliteration, направленным на снижение частоты отказов. В приведённом сравнении доля отказов снизилась с 99 до 21 из 100 запросов; KL-дивергенция относительно исходной модели составляет 0,43. Репозиторий содержит веса safetensors для Transformers, лицензия — Apache-2.0. Модель предназначена для генерации ответов по инструкциям, рассуждений, работы с математическими и научными вопросами, кодом и инструментами, а также для задач на длинном контексте. Это плотная причинная языковая модель с 3,7 млрд параметров и контекстом до 262 144 токенов; README указывает, что она работает в режиме без пошагового рассуждения. Заявлена поддержка нескольких языков, но конкретные языки не перечислены. Меньшая частота отказов может быть полезна для запросов, которые исходная модель отклоняет, однако приведённая оценка основана на тесте из 100 запросов и не характеризует все сценарии. Как и другие языковые модели, она может ошибаться, а ответы требуют проверки; применение в чувствительных областях требует дополнительной оценки.

mradermacher/Qwen3.5-9B-Brainwaves-i1-GGUF — набор квантованных моделей в формате GGUF, созданный mradermacher на основе nightmedia/Qwen3.5-9B-Brainwaves. Это модель примерно на 9 млрд параметров; в README она также обозначена как vision model, однако подробности о визуальной архитектуре и поддерживаемых типах входных данных не приведены. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, математических и STEM-задач, исследовательских сценариев, а также творческого письма и ролевого взаимодействия. Заявлена поддержка английского, китайского, японского и испанского языков. Репозиторий содержит варианты квантования i1 от Q2_K до Q6_K и IQ-квантов, что позволяет выбирать между размером файлов, скоростью и качеством; рекомендуемым вариантом назван i1-Q4_K_M. К сильным сторонам относятся разнообразие доступных квантов и возможность запуска через совместимое с GGUF программное обеспечение. Ограничения — отсутствие в README подробных сведений об архитектуре, точном размере контекста, результатах тестирования и фактических возможностях vision-компонента; квантование может снижать качество по сравнению с исходной моделью. Указанная лицензия — Apache-2.0.

Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — языковая модель в формате GGUF, разработанная trinityomni на основе модели DavidAU Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking. Согласно README, модель расширена из Qwen3.6 27B до 40 млрд плотных параметров, имеет 96 слоёв и поддерживает контекст до 256K токенов. Обучение и доработка выполнялись с использованием Unsloth, датасетов с высокоуровневыми рассуждениями, а также наборов Deckard/PDK, ориентированных на характер, интеллект, глубину, наблюдательность и стиль ответа. Модель предназначена для универсального применения: диалогов, сложных рассуждений, программирования, математики, решения задач, творческого письма, генерации сюжетов и ролевых сценариев. Заявлены английский и китайский языки. Поддерживается переменная длина рассуждений: для простых задач модель должна формировать более короткие рассуждения, а для сложных — более подробные. README также заявляет поддержку изображений при использовании совместимого mmproj-файла, что соответствует сценарию image-text-to-text. К сильным сторонам относятся большой контекст, высокая производительность в задачах рассуждений и письма, ориентированность на длительные диалоги, код и математику, а также специальные NEO-CODE-Di-IMatrix-MAX-квантизации, оптимизированные по результатам сравнений с полной точностью BF16. Ограничением является необходимость подбирать подходящий GGUF-квант и, для работы с изображениями, отдельно устанавливать mmproj. Модель заявлена как uncensored и unfiltered, поэтому она может генерировать потенциально небезопасный или NSFW-контент. Лицензия указана как Apache-2.0.

Qwen3.8-9B-Distill-uncensored-heretic — текстовая генеративная модель автора @ptruha, опубликованная в рамках проекта Empero. Это полно-параметрическое дообучение Qwen/Qwen3.5-9B: модель-дистиллят обучена методом SFT на примерно 70 тысячах отфильтрованных трасс рассуждений учителя Qwen3.8 2.4T A95B. Веса содержат около 9 млрд параметров и распространяются в формате Safetensors; карточка указывает архитектуру Qwen3.5 и нативный контекст 262 144 токена. Модель предназначена для диалога, рассуждений, математики, программирования, следования инструкциям и вызова инструментов. В README приведены результаты GSM8K и MMLU; автор сообщает о низкой частоте отказов в собственном тесте, однако эти результаты не являются независимой оценкой. Дообучение было текстовым, поэтому унаследованные от мультимодальной базовой модели возможности работы с изображениями не оценивались. Для запуска требуется актуальная версия Transformers с поддержкой Qwen3.5 и CUDA-совместимыми компонентами; без них внимание может работать медленно и потреблять больше памяти. Лицензия — Apache-2.0.

AgentionAI Signal 3.8 27B — минимально изменённая fine-tune-модель Qwen3.8-27B, разработанная AgentionAI. Модель распространяется в формате GGUF и предназначена для использования в llama.cpp как замена Qwen3.8-27B. Обучение выполнено методом self-distillation на ответах самой базовой модели без внешних данных и выходов других моделей. Модель ориентирована на диалоговые, общие, математические и программные задачи, включая работу в режиме рассуждений и генерацию структурированного JSON-вывода. Её основная особенность — более прямые и компактные ответы: по заявленным оценкам, она генерирует на 25% меньше токенов ответа и на 41% меньше токенов рассуждений, сохраняя или улучшая качество на проверенных наборах. В тестах GSM8K точность составила 100% без рассуждений и 95% с рассуждениями; результаты зависят от набора данных и настроек. Signal использует архитектуру и возможности Qwen3.8-27B, включая встроенную multi-token-prediction draft head для speculative decoding. На заявленном оборудовании и при включённом draft head общее время обработки тестового набора было на 19% меньше, а медианное — на 28% меньше, чем у базовой модели. Ограничения включают зависимость эффективности от llama.cpp, оборудования, квантизации и параметров сэмплирования; для снижения риска повторов рекомендуется использовать min-p и presence_penalty, а при включении MTP draft head — специальный параметр llama.cpp. Языки и размер контекстного окна в README не указаны. Лицензия — Apache-2.0.

Tess-2.0-Llama-3-70B-v0.2 — чат-модель общего назначения, разработанная Migtissera и дообученная на базе Meta Llama 3 70B. Версия 0.2 включает дополнительный этап снятия ограничений на ответы. Модель содержит 69,5 млрд параметров, использует плотную архитектуру Llama и принимает запросы в формате Llama 3; заявленная длина контекста — 8192 токена. Модель предназначена для диалогов, следования инструкциям, генерации кода и ответов на общие вопросы. Дообучение выполнено на примерно 100 тысячах высококачественных примеров кода и общего назначения по принципам LIMA, в течение двух эпох с низкой скоростью обучения. Модель ориентирована на широкий спектр запросов и обычно охотно выполняет инструкции. Возможны неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или иной неподходящий контент; факты следует перепроверять. Модель описана как uncensored. Лицензия — Llama 3; применимые условия использования определяются лицензией Meta Llama 3.

WizardLM-70B-V1.0 — большая языковая модель команды WizardLM, выпущенная в августе 2023 года. Это плотная авторегрессионная модель семейства LLaMA с архитектурой LlamaForCausalLM и 68,7 млрд параметров; репозиторий содержит веса PyTorch. Модель предназначена для генерации текста и диалогов, в том числе многоходовых бесед по формату запросов, совместимому с Vicuna, и ответов на сложные инструкции. В карточке приведены результаты на MT-Bench, AlpacaEval, GSM8K и HumanEval; они указывают на возможности диалога, решения математических задач и генерации кода. Контекст модели составляет 4096 токенов. Для использования указана лицензия Llama 2; следует соблюдать её условия. Карточка не сообщает о поддержке изображений, аудио или иных модальностей помимо текста.

Yi-1.5-9B — базовая языковая модель семейства Yi, разработанная 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 8,6 млрд параметров, предназначенная для генерации текста и продолжения запросов. Yi-1.5 получена непрерывным предварительным обучением модели Yi на высококачественном корпусе объёмом 500 млрд токенов; в линейке также есть отдельные версии Chat, но данный репозиторий содержит базовую модель. Модель подходит для языкового понимания, чтения с пониманием, рассуждений, математики и программирования. В карточке семейства указаны контексты 4K, 16K и 32K; для этой модели в метаданных указан native context 4096 токенов. Веса доступны в формате Safetensors. Лицензия — Apache-2.0.

Bagel 8B v1.0 — диалоговая языковая модель, созданная jondurbin дообучением Meta Llama 3 8B на наборе инструкций Bagel. Она использует плотную архитектуру Llama и формат запросов Llama 3 Instruct; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель предназначена для генерации ответов в чате и выполнения разнообразных инструкций: ответы на вопросы, рассуждения, математика, программирование, суммаризация, творческое письмо и ролевой диалог. В обучающие данные также входили примеры вызова функций и работы с контекстом. В карточке приведено сравнение с Mistral 7B v0.2 по MT-Bench, где Bagel 8B v1.0 получила среднюю оценку 7,296875; это результат, заявленный автором, а не гарантия качества для конкретной задачи. Модель принимает текст и генерирует текст. В карточке перечислены многоязычные данные, включая Belebele, но основной язык отдельно не заявлен. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

unsloth/DeepSeek-R1-Distill-Llama-8B — текстовая языковая модель семейства Llama, опубликованная Unsloth на основе DeepSeek-R1-Distill-Llama-8B от DeepSeek. Это плотная авторегрессионная модель примерно на 7,5 млрд параметров с контекстом до 131 072 токенов; репозиторий содержит веса Safetensors и рассчитан на Transformers. Модель предназначена для диалоговой генерации текста и многошаговых рассуждений, включая решение математических задач и помощь в программировании. Её веса происходят от модели Llama 3.1 8B, дообученной на примерах рассуждений, сгенерированных DeepSeek-R1. В карточке заявлена поддержка английского языка; метаданные также отмечают чат и интерфейс вызова инструментов. Модель подходит для прототипирования ассистентов и задач, где полезны длинный контекст и развернутые рассуждения. Качество ответов может быть нестабильным, а сгенерированные выводы требуют проверки; README указывает максимальную длину генерации 32 768 токенов для описанной оценки. Лицензия репозитория — Llama 3.1, поэтому использование должно соответствовать её условиям.

casperhansen/deepseek-r1-distill-llama-8b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Llama-8B, опубликованная пользователем Casper Hansen на Hugging Face. Исходную модель разработала DeepSeek; она создана дистилляцией DeepSeek-R1 в базовую архитектуру Llama 3.1 8B с использованием синтетических образцов, с акцентом на рассуждения. Репозиторий Casper Hansen содержит веса в формате Safetensors и конфигурацию для запуска квантизованной модели. Модель предназначена для текстовой генерации и задач, требующих языкового и логического рассуждения, включая ответы на вопросы, математические и программные задачи. Она использует архитектуру LlamaForCausalLM, около 8 млрд параметров, 32 слоя, 32 attention-heads и 8 key-value heads. Конфигурация указывает контекст до 131 072 токенов, хотя практическая поддержка зависит от используемого ПО и ресурсов. Мультимодальность не заявлена; модель работает с текстом. Квантизация снижает требования к памяти и ускоряет локальный запуск, но может ухудшать качество по сравнению с полной точностью. Карточка производной модели почти не содержит описания, поэтому подробные сведения о бенчмарках, ограничениях безопасности, языковой поддержке и рекомендуемых сценариях именно этой AWQ-сборки отсутствуют. В репозитории указана лицензия MIT; при использовании также следует учитывать условия исходной модели DeepSeek-R1-Distill-Llama-8B.

Dolphin 2.7 Mixtral 8x7B — разговорная языковая модель, разработанная Eric Hartford при спонсорской поддержке Convai. Это дообучение Mixtral-8x7B с исправлениями обучения для Mixtral; модель предназначена для диалога, генерации текста и помощи в программировании. Она использует архитектуру Mixtral с разреженной смесью экспертов и формат ChatML. По README, базовая модель поддерживает контекст 32 тыс. токенов, а Dolphin обучалась на последовательностях до 16 тыс.; метаданные указывают 7,1 млрд параметров и контекст 32 768 токенов. Модель обучалась на наборах данных для диалогов, кода и инструкций, включая Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara. Разработчик характеризует её как послушную и сильную в задачах программирования, но отмечает, что она не проходила настройку DPO. Модель описана как uncensored и может выполнять небезопасные запросы, поэтому для публичного сервиса рекомендуется отдельный слой контроля. Лицензия — Apache-2.0.

QuantFactory/dolphin-2.9.1-yi-1.5-9b-GGUF — это квантизированная с помощью llama.cpp версия модели cognitivecomputations/dolphin-2.9.1-yi-1.5-9b, разработанной и обученной Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе Yi-1.5-9B. Модель предназначена для генерации текста, диалогов, выполнения инструкций, программирования, математических задач, начальных агентских сценариев и function calling. Модель относится к классу авторегрессионных текстовых моделей с архитектурой LlamaForCausalLM и использует формат промптов ChatML. Указан размер базовой модели — 9 миллиардов параметров; исходная модель имеет контекст 4K, а дообучение выполнялось на последовательностях длиной 12K с использованием RoPE theta 1000000.0. README не указывает поддерживаемые языки и точный вариант квантизации GGUF. Сильными сторонами заявлены широкий набор инструкционных, разговорных и кодовых навыков, поддержка function calling и результат 70,9 на MMLU для версии 9B. Модель описывается как uncensored: из обучающих данных удалялись alignment и bias, поэтому она может быть чрезмерно послушной и генерировать небезопасный или неэтичный контент. Перед использованием в сервисах рекомендуется добавить собственный слой выравнивания и фильтрации. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование.

Это GGUF-квантизированная версия текстовой языковой модели dolphin-2.9.2-Phi-3-Medium, разработанной cognitivecomputations и подготовленной пользователем legraphista. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с инструкциями, программным кодом, математическими задачами и агентными запросами. В обучении или дообучении исходной модели использовались наборы данных Dolphin-2.9.2, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Agent-FLAN и SystemChat-2.0. Распространяется в формате GGUF для запуска с llama.cpp и совместимых инструментов. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; для ряда вариантов применена IMatrix-квантизация, позволяющая уменьшить размер модели при сохранении качества. Указан английский язык, модальность — текстовая. Размер исходного BF16-варианта составляет около 27,92 ГБ, а доступные квантизированные файлы занимают примерно от 5,20 до 14,83 ГБ. Сильная сторона модели — возможность локального запуска с выбором компромисса между качеством и требованиями к памяти благодаря множеству уровней квантизации. Ограничения README не раскрывает: отсутствуют сведения о числе параметров, архитектурных деталях, размере контекста, результатах бенчмарков и качестве на других языках. Для публикации указана лицензия MIT.

Dolphin 2.9 Llama 3 8B GGUF — квантизированная версия модели cognitivecomputations/dolphin-2.9-llama3-8b, разработанная и обученная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations. Модель создана на базе Meta Llama 3 8B с использованием llama.cpp и полным дообучением всех параметров в формате ChatML. Указано, что обучение проводилось на последовательностях длиной 4 096 токенов, а базовая модель поддерживает контекст до 8 000 токенов. Модель предназначена для генерации текста, диалогов, выполнения инструкций, программирования, решения математических задач, начальных агентских сценариев и function calling. В обучении использовались наборы данных для диалогов, кода, инструкций, tool use и математических задач, включая Dolphin 2.9, OpenHermes 2.5, CodeFeedback, Dolphin Coder, UltraChat и Orca Math. Модель рассчитана на работу с текстом; поддерживаемые языки явно не указаны. К сильным сторонам относятся сочетание разговорных, инструкционных и кодовых навыков, а также начальная поддержка инструментов и вызова функций. Модель описана как uncensored и высоко послушная, поэтому перед предоставлением доступа через сервис рекомендуется самостоятельно добавить слой фильтрации и выравнивания; безопасность и корректность результатов не гарантируются. Лицензия указана как Meta Llama 3 Community License Agreement; коммерческое использование допускается только в пределах условий этой лицензии.

dolphinllamaseekv1 — объединённая модель генерации текста на архитектуре Llama, созданная сообществом mergekit-community методом SLERP из cognitivecomputations/Dolphin3.0-Llama3.1-8B и deepseek-ai/DeepSeek-R1-Distill-Llama-8B. В репозитории указаны 7,5 млрд параметров и контекст до 131 072 токенов; веса доступны в формате safetensors, модель рассчитана на запуск через Transformers. Модель предназначена для диалоговой генерации текста и задач, в которых полезны возможности исходных моделей Dolphin и DeepSeek R1 Distill, включая рассуждения и программирование. Метаданные также отмечают интерфейс вызова инструментов. Объединение может сочетать свойства двух моделей, но README не приводит оценок качества или подробных результатов тестирования. Лицензия в предоставленных данных не указана.

FuseAI/FuseChat-Qwen-2.5-7B-Instruct — разговорная языковая модель FuseAI на архитектуре Qwen2 с 7,1 млрд параметров и контекстом до 32 768 токенов. Это целевая модель семейства FuseChat-3.0, обученная методом неявного слияния: сначала её дообучили на лучших ответах сильных языковых моделей, затем применили Direct Preference Optimization (DPO) к парам предпочтительных и менее предпочтительных ответов. В качестве источников использовались Gemma-2-27B-It, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct и Llama-3.1-70B-Instruct. Модель предназначена для диалога, следования инструкциям, решения математических задач и помощи с кодом; обучение также включало китайскоязычные данные. Подходит для локального запуска в формате Safetensors, а метаданные отмечают интерфейс вызова инструментов. README сообщает об улучшениях на ряде бенчмарков, однако приведённые там конкретные приросты относятся к версии с целевой моделью Llama-3.1-8B и не подтверждают такие же результаты для этой версии. Лицензия в предоставленных данных не указана.

Это опубликованный Unsloth вариант GLM-4.5-Air от Zhipu AI: диалоговой гибридной модели рассуждений для интеллектуальных агентов. В карточке указаны исправления шаблона чата для Unsloth; метаданные классифицируют модель как дообучение базовой zai-org/GLM-4.5-Air и сообщают о 8,5 млрд параметров, архитектуре glm4_moe и контексте до 131 072 токенов. Доступны режимы рассуждений и быстрых ответов, а также интерфейс вызова инструментов. Модель подходит для генерации диалоговых ответов, программирования, сложных рассуждений и агентных сценариев с инструментами. README описывает семейство GLM-4.5-Air как компактный вариант для таких задач и приводит результаты сравнительной оценки семейства, однако конкретные показатели для этого репозитория не приводит. Указана лицензия MIT, допускающая коммерческое использование и дальнейшую разработку. Репозиторий содержит веса safetensors и предназначен для работы через Transformers; для llama.cpp README рекомендует параметр --jinja.