II.1Анализ требований и архитектура ПО

claude2-alpaca-13B — авторегрессионная языковая модель на архитектуре Transformer семейства Llama, разработанная лабораторией Tianyi Zhou в Университете Мэриленда. Модель дообучена на базе meta-llama/Llama-2-13b с использованием данных claude2_alpaca и формата запросов Stanford Alpaca. Она содержит 12,9 млрд параметров, принимает текст и генерирует текст; нативная длина контекста составляет 4096 токенов. Модель предназначена для генерации ответов в диалогах и исследований языковых моделей и чат-ботов. В карточке авторы сообщают о более высокой средней производительности по сравнению с Llama 2 Chat, однако приведённые таблица и описания не дают полного независимого подтверждения этого заявления. Основной язык в метаданных — английский. Для использования действует Llama 2 Community License Agreement.

CognitiveFusion2-4x7B-BF16 — языковая модель Kquant03 для генерации текста, созданная как смесь экспертов на основе нескольких моделей семейства Mistral/Mixtral. В README перечислены YamshadowExperiment28-7B, M7-7b и T3QM7 как исходные модели и эксперты; модель описана как frankenMoE, у которой маршрутизатор не обучался одновременно с экспертами. Метаданные указывают архитектуру MixtralForCausalLM типа MoE, 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для продолжения текста и диалоговой генерации на английском языке. Разреженная архитектура MoE активирует только часть экспертов для обработки токенов, что может сокращать вычисления при генерации; при этом веса всех экспертов должны помещаться в память. README называет репозиторий обновлением исходной Cognitive Fusion и сообщает о намерении повысить производительность дальнейшим дообучением, но не приводит результатов оценки качества. Модель распространяется в формате safetensors по лицензии Apache-2.0. README также содержит заголовок о GGUF-файлах, однако метаданные репозитория указывают safetensors.

COLA3-7B — языковая модель, разработанная Seungyoo-Lee (DopeorNope) в консорциуме исследований LLM компаний 미디어그룹사람과숲 и 마커. Это авторегрессионная плотная модель семейства LLaMA 2, дообученная методом IA3 на базе kyujinpy/KO-Platypus2-7B-ex; размер — 6,7 млрд параметров. Для дообучения использован набор Eng_Kor_COT_combined, указанный в метаданных как DopeorNope/combined. Модель принимает текст и генерирует текст. Её можно применять для генерации ответов и рассуждений на английском и корейском языках; контекст составляет 2048 токенов. Лицензия CC BY-NC-SA 4.0 разрешает использование на условиях атрибуции, распространения производных работ на тех же условиях и без коммерческого использования. Ответы могут быть неточными, предвзятыми или нежелательными; в README отмечено, что тестирование проводилось на английском языке и не охватывает все сценарии. Перед внедрением следует проверить модель и настроить меры безопасности для конкретного приложения.

DareNutz — объединённая текстовая модель на архитектуре Mistral, созданная jeiku с помощью mergekit и метода DARE TIES. В качестве основы использована unsloth/mistral-7b-instruct-v0.3; в слияние также вошли Theory_of_Mind_Mistral, Synthetic_Soul_1k_Mistral_128 и Luna_LoRA_Mistral. Модель содержит 7,1 млрд параметров и работает с контекстом до 32 768 токенов. Модель предназначена для генерации текста и диалогов, включая выполнение инструкций. Заявленные компоненты указывают на тематические акценты на теории разума и синтетических данных, но README не описывает конкретные сценарии или результаты оценки качества. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

DaringMaid 13B GGUF — это квантизированная версия языковой модели DaringMaid 13B, разработанной Kooten и преобразованной в формат GGUF командой TheBloke. Модель основана на архитектуре Llama и предназначена для генерации текста по инструкциям; заявленный язык — английский. Она поддерживает сценарии локального запуска и инференса через совместимые инструменты, включая llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio и другие приложения, работающие с GGUF. Модель содержит 13 миллиардов параметров. В репозитории доступны варианты квантизации с разрядностью от 2 до 8 бит для инференса на CPU и GPU, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы. Используется шаблон запросов Alpaca с секциями Instruction и Response. Сведения о поддерживаемых модальностях ограничены текстом, а размер контекста и подробные результаты оценки качества в README не указаны. Основные преимущества модели — локальный запуск, широкий выбор клиентов и библиотек, а также возможность адаптировать требования к ресурсам с помощью разных уровней квантизации. Ограничения включают отсутствие заявленной мультимодальности и неполные сведения о качестве, контекстном окне и целевых прикладных сценариях. Указана лицензия CC BY-NC 4.0 исходной модели; кроме того, поскольку модель основана на Llama 2, README сообщает о применимости условий лицензии Meta Llama 2. Вопросы взаимодействия этих лицензий рекомендуется уточнять в репозитории исходной модели.

DataDecide-dolma1_7-1B-47500_50000_52500_55000_57500_weightedavg_merge — объединённая языковая модель, созданная с помощью mergekit из пяти предобученных чекпойнтов Dolma 1.7B на разных шагах обучения. Использован линейный метод слияния; базой служил чекпойнт шага 57500. Модель построена на архитектуре LlamaForCausalLM и содержит около 1,2 млрд параметров. Модель предназначена для генерации текста. Она принимает текст и продолжает его, а также подходит для диалоговых и других сценариев генерации, в которых полезна причинно-языковая модель. Контекст составляет 2048 токенов. Карточка не сообщает о специализированной области применения или поддерживаемых языках. Веса доступны в формате safetensors через библиотеку Transformers. Лицензия в предоставленных данных не указана; сведений о сравнительной точности и конкретных ограничениях слияния также нет.

Модель laion/delphi-9e18-p33m67-k0p20-lr83-a002-magpie_lr1e5-sft — диалоговая языковая модель семейства Qwen3, разработанная LAION и обученная с нуля на наборах данных Magpie и delphi_warmup. Она предназначена для генерации текста в формате диалога и может использоваться для ответов на запросы и ведения беседы. Модель содержит 402,6 млн параметров, работает с контекстом до 4096 токенов и представлена в формате safetensors для Transformers. Лицензия указана как other; конкретные условия в доступных данных не раскрыты.

DiffusionGemma 26B A4B IT Strix Halo — независимая пользовательская сборка модели google/diffusiongemma-26B-A4B-it, подготовленная Corsairnui для локального запуска на оборудовании AMD Strix Halo. Релиз не является официальной сборкой AMD, Google DeepMind, Hugging Face, vLLM или llama.cpp. Модель предназначена для генерации текста и ориентирована на англоязычные сценарии; в карточке указана библиотека Transformers и поддержка GGUF через llama.cpp-совместимый diffusion-интерфейс. В состав входят конверсия BF16, а также квантизованные файлы Q5_K_M размером 19,15 ГБ и Q4_K_M размером 16,81 ГБ; полный BF16 GGUF-файл занимает 50,54 ГБ. Архитектура исходной модели не изменялась. Сборка оптимизирована для AMD Ryzen AI Max+ 395 с Radeon 8060S, ROCm и целью gfx1151. На протестированной системе FP16-путь показал в среднем 115,42 токена в секунду в базовой конфигурации и 134,65 токена в секунду с экспериментальным AOTriton; для GGUF оценка составила 124,49 токена в секунду для Q5_K_M и 122,40 для Q4_K_M в режиме диалога. Q5_K_M рекомендуется как основной локальный вариант: он прошёл 5 из 5 ограниченных детерминированных проверок сравнения с FP16. Q4_K_M требует меньше места, но прошёл 3 из 5 проверок, поэтому может уступать по качеству. Результаты зависят от оборудования и настроек, а заявленные тесты проводились на одной системе; размер контекста и мультимодальные возможности в README не указаны. Модель распространяется по лицензии Apache-2.0, при этом для базовой Gemma также приведена отдельная ссылка на условия Google.

distillspec-qwen600m — диалоговая языковая модель на архитектуре Qwen3, опубликованная пользователем rishabhrj11 на Hugging Face. Модель дообучена с использованием библиотеки TRL и предназначена для генерации ответов в формате чата; в карточке приведён пример генерации текста в ответ на вопрос пользователя. Модель содержит около 507,9 млн параметров, принимает текст и поддерживает контекст до 40 960 токенов. Она распространяется в формате Safetensors и использует библиотеку Transformers. В доступной карточке не названа базовая модель, а лицензия и поддерживаемые языки не указаны.

DevQuasar/dphn.Dolphin-Mistral-24B-Venice-Edition-GGUF — это квантизированная версия текстовой генеративной модели dphn/Dolphin-Mistral-24B-Venice-Edition. В README указано, что модель разработана на основе исходной модели dphn, а квантизация опубликована под идентификатором DevQuasar. Модель предназначена для генерации текста. Подробные сведения о поддерживаемых сценариях, языках, размере контекста, используемой архитектуре, конкретных вариантах квантизации и требованиях к оборудованию в README отсутствуют. Известно только, что базовая модель имеет обозначение Mistral-24B, однако точные характеристики и модальности не уточнены. К потенциальным преимуществам относятся уменьшенный размер и требования к ресурсам по сравнению с полной версией благодаря квантизации. Ограничения, качество на отдельных задачах и совместимость с конкретными программными средствами не описаны. Лицензия в представленном README не указана.

DPO-ONLY-Zephyr-7B-iter-2 — дообученная модель Katayoon на базе Katayoon/DPO-ONLY-Zephyr-7B-iter-1. Она создана методом fine-tuning на обновлённом и исходном наборах данных; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров. Модель предназначена для генерации текста в диалоговом формате и поддерживает контекст длиной до 32 768 токенов. Модель распространяется по лицензии MIT. Карточка не описывает её поведение, языки, результаты оценки или конкретные ограничения, поэтому применимость к специальным задачам и качество ответов по этим данным определить нельзя.

EarthRender-32x7B-bf16 — экспериментальная текстовая модель генерации от Kquant03, построенная как «frankenMoE»: смесь из 32 экспертов на основе нескольких моделей семейства Mistral 7B. В README перечислены исходные модели, среди них Marcoroni, Zephyr, Neural Chat, NeuralHermes, Dolphin и Silicon-Maid. Метаданные указывают архитектуру MixtralForCausalLM типа MoE, 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель предназначена для генерации текста и диалоговых сценариев. По описанию, маршрутизатор выбирает экспертов для обработки токенов, но в этой сборке он не обучался совместно с экспертами; автор характеризует её как нестандартный эксперимент и приводит лишь общее заявление о высокой производительности без результатов оценки. Работа требует памяти для размещения весов экспертов. Лицензия — Apache-2.0.

ELM Turbo 0.50 Instruct — языковая модель SliceX AI из семейства Efficient Language Models, созданная на основе Microsoft Phi-3 Mini Instruct. Это плотная авторегрессионная модель архитектуры Phi-3 примерно с 1,9 млрд параметров по метаданным; версия README указывает 2,01 млрд. Модель предназначена для генерации текста и диалоговых ответов по инструкциям. Разработчик описывает ELM Turbo как модель со срезаемой архитектурой, обученной для получения компактных вариантов с разным соотношением качества, скорости и потребления памяти. Эту версию можно запускать через Transformers; для GPU A100 и H100 также описана интеграция с TensorRT-LLM. Контекст составляет 4096 токенов, основной заявленный язык — английский. Модель подходит для диалоговых приложений и генерации ответов на английском языке, когда важны скорость и компактность. Качество фактов и безопасность ответов не гарантированы: README предупреждает о возможных ошибках, смещениях и неподходящем содержимом в обучающих данных и рекомендует проверять результаты. Репозиторий указывает лицензию Apache-2.0; README также советует учитывать лицензию базовой модели Phi-3.

EVA-QwQ-32B-Preview-GGUF — это набор квантизованных версий языковой модели EVA-QwQ-32B-Preview, подготовленный пользователем bartowski на основе merge-модели win10/EVA-QwQ-32B-Preview. Модель предназначена для генерации текста и запуска локальных текстовых сценариев через llama.cpp и совместимые приложения, включая LM Studio. Для общения используется шаблон prompt с ролями system, user и assistant. В набор входят файлы GGUF с точностью от BF16 до различных вариантов 3- и 4-битного, 5-, 6- и 8-битного квантования. Полная BF16-версия занимает 65,54 ГБ, а размеры квантованных вариантов составляют примерно от 13,71 до 34,82 ГБ. Для квантования применялся imatrix с llama.cpp версии b4222. Более качественные варианты Q6_K_L, Q6_K, Q5_K и Q4_K обозначены как рекомендуемые; версии с меньшим размером требуют меньше оперативной памяти, но могут заметно уступать по качеству. README не содержит сведений об архитектуре исходной модели, размере контекста, поддерживаемых языках, мультимодальности, результатах тестирования или лицензии. Поэтому сильные стороны можно уверенно связать только с широким выбором форматов и возможностью локального запуска, а ограничения — с высокими требованиями к памяти и потенциальной потерей качества при сильном квантовании. Для отдельных ARM-вариантов указаны требования к поддержке SVE или i8mm; некоторые из них не рекомендуется использовать на Mac или с GPU.

FableForge-1.5B-GGUF — это квантизированная версия языковой модели FableForge-1.5B, разработанная командой fableforge-ai и распространяемая в формате GGUF. Модель предназначена для генерации текста и позиционируется как универсальная модель, объединяющая различные области экосистемы NEXUS. В README также заявлена ориентация на программирование, рассуждения и общие текстовые задачи. Модель поддерживает английский язык и работает с текстом; сведения о мультимодальности и размере контекста не указаны. Доступны варианты от F16 без квантизации до низкобитных форматов Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и других. Вариант Q4_K_M обозначен как оптимальный баланс размера и качества, Q6_K — как вариант высокого качества, а IQ4_XS — как вариант для систем с небольшим объёмом оперативной памяти. Для взаимодействия указан формат промптов ChatML, а запуск поддерживается через llama.cpp, Ollama и LM Studio. К сильным сторонам относятся широкий выбор уровней квантизации, возможность локального запуска и сравнительно небольшой размер отдельных файлов. Ограничения включают малый размер базовой модели — 1,5 млрд параметров, возможное снижение качества в низкобитных вариантах и отсутствие в README подробных результатов тестирования, характеристик производительности и данных о поддерживаемых языках помимо английского. Модель распространяется по лицензии Apache-2.0.

Falcon-Mamba-7B — авторегрессионная языковая модель с причинным декодером на архитектуре Mamba, разработанная TII. Она обучена предсказывать следующий токен и предназначена для генерации продолжений текста и других сценариев языкового моделирования. В метаданных указан размер 8,9 млрд параметров; архитектура включает 64 слоя с размерностью скрытого состояния 4096. Модель ориентирована главным образом на английский язык. При обучении использовались веб-тексты RefinedWeb, образовательные и технические данные, а также материалы по программированию и математике. Контекст увеличивали с 2 048 до 8 192 токенов; в README отмечено, что для Mamba длина контекста при инференсе не ограничена так же, как у стандартных трансформеров. Для запуска предусмотрена библиотека Transformers, а оптимизированные ядра Mamba могут повысить производительность. Модель подходит для генерации текста общего назначения, однако приведённые в карточке результаты бенчмарков показывают ограничения на сложных задачах рассуждения и следования инструкциям. Лицензия — TII Falcon-Mamba License 2.0; перед использованием следует проверить её условия.

Fimbul-Airo-18B — слитая языковая модель, созданная автором репозитория с помощью mergekit из Sao10K/Fimbulvetr-11B-v2 и Undi95/Mistral-11B-CC-Air-RP. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 17,6 млрд параметров. Она предназначена для генерации текста и диалоговых ответов; карточка указывает формат запросов Alpaca. Модель рассчитана на контекст длиной 4096 токенов. Автор отмечает, что она, по его наблюдениям, работает при расширении RoPE до 8K, но это не заявлено как штатная длина контекста. В карточке также сказано, что модель uncensored; автор приводит пример ответа на опасный запрос, поэтому её ответы могут включать вредоносные инструкции. Репозиторий содержит веса Safetensors, а лицензия в предоставленных данных не указана.

Это квантизированная GGUF-версия conversational-модели Gemma 3 27B IT Abliterated Refined Novis, созданная mradermacher на основе Nabbers1999/gemma-3-27b-it-abliterated-refined-novis. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск с использованием GGUF-совместимых инструментов. В README указан английский язык. Модель содержит 27 миллиардов параметров; точные сведения об архитектуре, размере контекста и поддерживаемых модальностях не приведены. Доступны различные варианты квантизации, включая IQ- и Q-серии, с размером файлов примерно от 6,4 до 18,9 ГБ в перечисленном диапазоне. В README отмечается компромисс между размером, скоростью и качеством: i1-Q4_K_S назван оптимальным по этим параметрам, а i1-Q4_K_M — быстрым и рекомендуемым вариантом. Более агрессивные варианты могут заметно снижать качество. Модель поставляется в формате GGUF и ориентирована на запуск при ограниченных аппаратных ресурсах, однако требования к памяти и производительности зависят от выбранной квантизации. Указана лицензия Gemma. В README не приведены подробные результаты оценки, точные ограничения безопасности, параметры контекста или сведения о процедуре дообучения.

Это дообученная версия Google Gemma 3 4B IT, созданная автором kalle07 с помощью Heretic. Модель предназначена для диалогов и генерации текста; в README автор описывает её как сильно снижающую число отказов на проверочных запросах. Метаданные указывают формат GGUF BF16 и лицензию Gemma. Модель может отвечать на запросы, от которых исходная версия часто отказывалась. Оценка отказов в README относится к авторской проверке и не гарантирует поведение на других запросах. Модель рассчитана на широкий спектр текстовых сценариев, но её ответы требуют внимательной проверки. Поддерживаемые условия использования определяются лицензией Gemma.

ark4004/gemma3.8-fn-jh — модель, опубликованная пользователем ark4004 на Hugging Face для генерации текста. В метаданных указаны библиотека Transformers, conversational-режим и теги text-generation и image-text-to-text, поэтому модель может применяться для диалогового взаимодействия и задач генерации текста с учётом визуального ввода, если это поддерживается самим checkpoint и конфигурацией.

EmanuelOverride/Gemma-4-26B-A4B-StyleTune-V2-APEX-GGUF — набор квантизированных GGUF-конфигураций модели Gryphe/Gemma-4-26B-A4B-StyleTune-V2. Репозиторий поддерживает архитектуру Gemma 4 MoE и предназначен для запуска модели с различными компромиссами между качеством, скоростью и потреблением памяти. Указанные сценарии применения включают диалоговое взаимодействие, instruct-задачи, roleplay и творческое написание текстов на английском языке. Основная особенность — экспериментальная схема смешанной точности APEX (Adaptive Precision for EXpert Models), сохраняющая повышенную точность маршрутизации MoE, общих экспертов и Global Attention-слоёв, одновременно сильнее сжимая менее чувствительные блоки. Доступны варианты примерно от 12 052 до 19 436 MiB и от 3,89 до 6,28 BPW, включая конфигурации i-Mini, i-Compact, i-Balanced, i-Quality, i-Upscale, i-Harmonic и i-Mindful. Точные сведения о числе параметров, длине контекста и поддерживаемых модальностях в README не указаны; по описанию это текстовая модель для генерации текста. Сильной стороной набора является выбор нескольких уровней квантизации с оптимизацией для сохранения маршрутизации экспертов и качества работы с длинным контекстом. При этом часть конфигураций явно обозначена как экспериментальная, поэтому заявленные преимущества зависят от оборудования и характера запросов и не гарантируются. Лицензия — Apache-2.0; архитектура, исходные веса и стилевое дообучение принадлежат разработчикам базовой модели, а foundational imatrix-данные были подготовлены mradermacher.

flyhero/gpt-j-6B — конвертированная для работы на GPU версия предварительно обученной языковой модели GPT-J 6B от EleutherAI. Это плотный авторегрессионный трансформер архитектуры GPT-3-типа на 6,8 млрд параметров, представленный в формате PyTorch; модель принимает текст и продолжает его генерацией текста с контекстом до 2048 токенов. Модель подходит для генерации продолжений, черновиков и других текстовых ответов, а также может служить основой для дальнейшего дообучения. В README указано, что для инференса достаточно одной GPU с 16 ГБ памяти, а дообучение авторы выполняли на восьми GPU с 32 ГБ памяти каждая и DeepSpeed. Карточка не сообщает о специальной языковой или предметной специализации. Лицензия в предоставленных данных не указана.

granite-3.1-1b-a400m-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели granite-3.1-1b-a400m-instruct, разработанной IBM и опубликованной в формате для запуска через llama.cpp. Квантизации подготовлены пользователем bartowski с применением метода imatrix и подходят для локального запуска, в том числе через LM Studio, на совместимом CPU или GPU. Модель предназначена для генерации текста и диалоговых сценариев с выполнением инструкций. В README указано около 1 млрд параметров и 400 млн активируемых параметров в обозначении исходной модели, однако подробные сведения об архитектуре, языках, модальностях и размере контекста не приведены. Доступны варианты от F16 до сильно сжатых Q2 и Q3, а также более качественные Q4–Q8 и IQ-квантизации; размер файлов составляет примерно от 0,57 до 2,67 ГБ. Для общения используется специальный chat template с ролями system, user и assistant. Сильная сторона набора — широкий выбор компромиссов между качеством, размером и требованиями к памяти; в README рекомендуются варианты Q4_K_M, Q5, Q6 и некоторые IQ-квантизации. Ограничения зависят от выбранного уровня квантизации: компактные варианты обеспечивают более низкое качество, а характеристики исходной модели и результаты оценки не указаны. Распространение заявлено по лицензии Apache-2.0.

ibm-granite/granite-4.1-3b-GGUF — это семейство версий модели IBM Granite 4.1 с примерно 3 млрд параметров, преобразованных из формата .safetensors в GGUF. Модель разработана IBM и предназначена для генерации текста; формат GGUF ориентирован на использование в совместимых локальных инструментах вывода, а наличие различных вариантов квантования позволяет выбирать компромисс между качеством, скоростью работы и потреблением памяти. В предоставленной карточке не указаны точная архитектура, поддерживаемые языки и модальности, размер контекста, результаты оценки, требования к ресурсам и конкретные сценарии применения. Поэтому сильные стороны можно определить только как преимущества формата GGUF и доступность нескольких уровней квантования, а ограничения — как зависимость качества и производительности от выбранного варианта квантования и используемого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Granite-4.1-8B-Tangerine — разговорная языковая модель на архитектуре Granite, созданная независимой лабораторией Nightmedia AI как NuSLERP-слияние нескольких моделей семейства Granite. В числе компонентов и участников слияния указаны модели для рассуждений и программирования, включая ibm-granite/granite-4.1-8b. Модель имеет 8,4 млрд параметров, поддерживает контекст до 131 072 токенов и представлена в формате safetensors; библиотека для работы с репозиторием — MLX. Модель предназначена для генерации текста и диалогов, включая ответы с переменным режимом внутреннего рассуждения. Автор описывает её как исследовательскую модель emergent-поведения и отмечает многословность и нестабильность ответов; для программирования она может подходить не всегда. В карточке есть примеры анализа и повествовательного диалога, но они не подтверждают гарантированное качество в этих задачах. Лицензия — Apache-2.0. README не перечисляет языки явно, а метаданные описывают базовое семейство как многоязычное, поэтому модель можно характеризовать как поддерживающую несколько языков без выделения основного.

H2O.ai разработала эту разговорную языковую модель в H2O LLM Studio на основе tiiuae/falcon-7b, дообучив её на данных OpenAssistant/oasst1. Это плотная авторегрессионная модель семейства RefinedWeb с 10,9 млрд параметров, предназначенная для генерации текста в диалоге и ответов на запросы на английском языке. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текстовых ответов. Она принимает текст и генерирует текст; в карточке заявлена возможность чата. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Возможности и качество ответов ограничены данными обучения: модель может выдавать неверные, бессвязные, предвзятые или оскорбительные ответы, поэтому результаты требуют проверки.

Helios-10.7B-v2 — языковая модель семейства Llama, созданная occultml путём слияния двух моделей с помощью mergekit и метода SLERP. В конфигурации указаны jeonsworld/CarbonVillain-en-10.7B-v2 и kekmodel/StopCarbon-10.7B-v5; базовой моделью названа jeonsworld/CarbonVillain-en-10.7B-v4. Метаданные указывают 7,1 млрд параметров, контекст до 4096 токенов и формат Safetensors. Модель предназначена для генерации текста в диалоговом режиме. Её можно использовать для ведения беседы и генерации ответов или продолжений текста. В README приведены результаты оценивания на нескольких задачах Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag. Модель распространяется по лицензии Apache-2.0. Карточка не описывает отдельные специализированные области применения или дополнительные модальности; указанная архитектура — плотная LlamaForCausalLM.

Hubble 4B v1 — языковая модель, дообученная BeaverAI на базе NVIDIA Llama 3.1 4B Minitron, компактной версии Llama 3.1 8B. Модель предназначена для диалогов и генерации текста; поддерживает формат ChatML и режим продолжения текста. Архитектура — плотная LlamaForCausalLM, размер — 3,9 млрд параметров, контекст — до 131 072 токенов. Модель обучалась на данных в формате ChatML с токеном конца последовательности ``. В README указана совместимость с Kobold 1.74; поддержка Layla для iOS и Android на момент описания находилась в разработке. В метаданных указана лицензия «other», поэтому условия использования следует сверить с лицензией репозитория перед применением.

Nickyang/Hy3-Razor-226B-A18B-E144of192 — вариант Hy3, созданный методом RAZOR без дообучения: из 192 маршрутизируемых экспертов в каждом MoE-слое удалена четверть, оставив 144 эксперта и исходные веса остальных компонентов. По README, после прореживания в модели 226 млрд параметров, около 18,4 млрд активны на токен; метаданные каталога указывают 16,6 млрд параметров. Модель принимает текст и предназначена для диалоговой генерации и других сценариев генерации текста. Архитектура — Hy3 MoE для Transformers, контекст — до 262 144 токенов; веса сохранены в формате bfloat16. Модель распространяется по лицензии Apache-2.0. Прореживание экспертов снижает вычисления, но является потерей информации: генерация может отличаться по разнообразию, форматированию и поведению при завершении, даже если точность задач сохраняется. README также отмечает, что качество на областях, далёких от конечного калибровочного набора, не охарактеризовано.

Это GGUF-квантизированная версия Granite 3.2 2B Instruct — языковой модели для генерации текста, разработанной IBM Granite и подготовленной квантизацией пользователем bartowski. Модель предназначена для диалоговых сценариев и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. README не содержит подробной информации о поддерживаемых языках, длине контекста, точной архитектуре и модальностях, поэтому подтверждённо описать её можно только как текстовую модель. Доступно множество вариантов квантизации от Q8_0 до IQ3 и Q3_K, размер файлов составляет примерно от 1,13 до 2,69 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но заметнее снижают качество; наиболее сбалансированными в README названы варианты Q4_K_M, Q5_K_M, Q6_K и другие рекомендованные сборки. Для работы необходимо соблюдать формат промпта Granite с маркерами ролей system, user и assistant. Модель распространяется по лицензии Apache-2.0. Ограничения связаны с потерями качества, зависящими от выбранной квантизации, а также с отсутствием в README сведений о производительности, безопасности, языковом покрытии и рекомендуемых аппаратных требованиях.