II.6Документация и сопровождение разработки

GPT4-x-Vicuna-13b-fp16 — дообученная Nous Research языковая модель на архитектуре LLaMA с 12,9 млрд параметров. Она предназначена для генерации текста и выполнения инструкций в формате Alpaca: запрос помещается после «### Instruction:», а ответ начинается после «### Response:». Модель дообучена на наборах GPTeacher, Roleplay v2, GPT-4-LLM Uncensored, WizardLM Uncensored и Nous Research Instruct Dataset; в карточке указано около 180 тысяч инструкций, созданных GPT-4 и очищенных от отказных формулировок. Обучение проводилось пять эпох на восьми ускорителях A100-80GB. Контекст составляет 2048 токенов. Репозиторий содержит веса PyTorch, лицензия указана как GPL. Модель подходит для ответов на инструкции и ролевого диалога. Карточка предупреждает, что в базовой модели сохраняются ограничения OpenAI; поведение и качество могут зависеть от формулировки запроса. Данные о поддерживаемых естественных языках в карточке не приведены.

mlx-community/gpt-oss-120b-MXFP4-Q8 — языковая модель для генерации текста, разработанная на основе openai/gpt-oss-120b компанией OpenAI и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.27.0. Модель предназначена для сценариев генерации текста и диалогового взаимодействия, включая работу с prompt и chat template, и может использоваться через библиотеку mlx-lm. Модель относится к pipeline text-generation и рассчитана на запуск в экосистеме MLX. В идентификаторе указано обозначение MXFP4-Q8, однако README не раскрывает подробности архитектуры, фактический объём параметров, поддерживаемые языки, максимальную длину контекста, модальности или результаты тестирования. Лицензия — Apache-2.0. Сильной стороной является адаптация к MLX и возможность локального использования через mlx-lm; ограничения и требования к аппаратным ресурсам в предоставленных данных не указаны.

gpt-oss-20b-Derestricted — производная модель Arli AI на основе openai/gpt-oss-20b. Авторы применили Norm-Preserving Biprojected Abliteration, чтобы ослабить поведение отказа, сохранив исходные нормы весов. В каталоге указано 1,6 млрд параметров, архитектура MoE для авторегрессионной генерации текста и контекст до 131 072 токенов. Модель предназначена для диалогов, рассуждений, агентных сценариев и других задач генерации текста, где требуется меньше отказов на запросы. Исходная модель поддерживает настраиваемый уровень рассуждений и формат Harmony; для корректной работы следует использовать шаблон Harmony. Карточка утверждает, что метод помогает сохранить качество рассуждений, но приводит это как результат авторских оценок, а не как независимую гарантию. Модель распространяется по лицензии Apache-2.0. Она может по-прежнему иногда пытаться подавлять запросы; языки в предоставленных данных явно не перечислены.

hassaanik/grammar-correction-model — модель Hassaanik на архитектуре T5, дообученная для исправления грамматических ошибок. Она принимает текст и генерирует исправленный вариант; согласно карточке, результат также может включать перечень исправленных слов и их количество. Модель предназначена для редактирования документов, подготовки публикаций и учебных материалов, а также для интеграции в приложения и текстовые конвейеры через Transformers или Hugging Face Inference API. Модель содержит 123,7 млн параметров, работает с текстом на английском языке и имеет контекст длиной до 512 токенов. В метаданных указан датасет JFLEG. Лицензия не указана в предоставленных данных.

Это квантованная версия Granite 3.0 2B Instruct — инструкционно настроенной языковой модели, разработанной IBM под именем ibm-granite/granite-3.0-2b-instruct. Репозиторий MaziyarPanahi/granite-3.0-2b-instruct-GGUF содержит файлы модели в формате GGUF, предназначенные для локального запуска и совместимые с экосистемой llama.cpp. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и другие сценарии текстовой обработки. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов, включая решения с GPU-ускорением. Из предоставленных данных не указаны точное устройство архитектуры, размер контекстного окна, поддерживаемые языки, результаты тестирования и конкретные ограничения качества. Лицензия в README также не указана, поэтому условия использования следует уточнять в исходном репозитории базовой модели IBM и в материалах данного репозитория.

RedHatAI/granite-3.1-2b-instruct-quantized.w4a16 — квантизированная версия инструкционной языковой модели IBM Granite 3.1 2B Instruct, подготовленная разработчиками Neural Magic. Модель работает с текстом на входе и генерирует текст на выходе; заявленный язык — английский. Она предназначена для диалоговых сценариев, генерации и обработки текста, а также локального и серверного инференса. Модель использует архитектуру granite-3.1-2b-instruct и содержит около 2 миллиардов параметров. Веса и активации квантизированы до INT4; квантизация применяется к весам линейных операторов внутри трансформерных блоков. Это сокращает число битов на параметр с 16 до 4, а размер на диске и требования к GPU-памяти примерно на 75%. Для эффективного запуска рекомендуется vLLM версии 0.5.2 или новее; в приведённом примере используется максимальная длина контекста 4096 токенов. К сильным сторонам относятся существенно сниженные требования к памяти и удобство развертывания через vLLM с OpenAI-совместимым сервером. На OpenLLM Leaderboard V1 модель получила средний результат 61,54 против 61,98 у неквантизированной версии, что указывает на небольшую потерю качества после квантизации. Ограничения включают ориентацию на английский язык, необходимость совместимого инференсного стека и возможное снижение качества относительно исходной модели. Модель распространяется по лицензии Apache 2.0.

bartowski/granite-3.1-8b-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Granite 3.1 8B Instruct, разработанной IBM и опубликованной как ibm-granite/granite-3.1-8b-instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и LM Studio. README не содержит подробностей о конкретной архитектуре, языках и размере контекстного окна. Доступны варианты от F16 до Q2_K, с размерами файлов примерно от 3,15 до 16,34 ГБ. Квантизации созданы с помощью llama.cpp и метода imatrix; для большинства сценариев автор рекомендует варианты Q4_K_M, Q5, Q6 и другие сбалансированные версии. Более компактные варианты подходят для устройств с ограниченной оперативной памятью, но обеспечивают более низкое качество. Модель использует специальный chat template, исправленный в этой версии. Распространение указано по лицензии Apache-2.0. Ограничения включают компромисс между размером, требованиями к памяти и качеством, зависящий от выбранного типа квантизации. README также не приводит результатов тестирования, точных сведений о поддерживаемых языках и ограничений безопасности.

Granite-3B-Code-Base-2K — авторегрессионная языковая модель для работы с кодом, разработанная IBM Research и обученная с нуля. Модель семейства Granite использует плотную decoder-only архитектуру LlamaForCausalLM, содержит 3,5 млрд параметров и поддерживает контекст до 2048 токенов. Модель предназначена для генерации и объяснения кода, исправления ошибок, создания модульных тестов и документации, поиска уязвимостей, устранения технического долга и перевода кода. При обучении использовались данные на 116 языках программирования, а также текстовые и математические данные для улучшения рассуждений и следования инструкциям. IBM указывает, что модель не рекомендуется для новых проектов и доступна для исторических и научных целей; для новых приложений предлагаются более свежие модели Granite. Модель не проходила выравнивание безопасности, а сгенерированный код может быть ошибочным или небезопасным. Лицензия — Apache 2.0.

granite-4.2-8b-MLX-4bit — 4-битная квантованная версия языковой модели granite-4.2-8b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon и предназначена для локальной генерации текста. Модель поддерживает задачи text generation, включая сценарии рассуждений, работы с инструментами и tool-calling, что отражено в заявленных тегах. Она обучена для работы с английским, немецким, испанским, французским, японским, португальским, арабским, чешским, итальянским, корейским, нидерландским и китайским языками. Архитектура и размер исходной модели обозначены как granite-4.2-8b; сведения о длине контекста и точной архитектуре в README не приведены. Ключевое преимущество варианта — сниженное потребление памяти по сравнению с полной точностью и оптимизация под Apple Silicon, что делает его подходящим для локального использования. Ограничениями являются возможная потеря качества из-за 4-битного квантования, зависимость производительности от оборудования и отсутствие в README подробных данных о качестве, бенчмарках и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Ninjasin/guard-ai-apex-1.5b — дообученная Ninjasin языковая модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 1,5 млрд параметров. Базовая модель — unsloth/qwen2.5-coder-1.5b-instruct-bnb-4bit; при обучении использовались Unsloth и библиотека TRL. Модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. В метаданных указан английский язык и контекст длиной до 32 768 токенов. Весы опубликованы в формате safetensors, лицензия — Apache-2.0. Карточка не уточняет специализацию названия Guard AI Apex, поэтому её защитные или охранные функции нельзя считать подтверждёнными.

Guru-7B — модель генерации текста на базе Qwen2.5-7B, представленная авторами работы «Revisiting Reinforcement Learning for LLM Reasoning from A Cross-Domain Perspective». Она предназначена для диалоговых сценариев и решения задач рассуждения в разных областях, включая математику и программирование. В опубликованных результатах приведены оценки на AIME24 и MATH500 для математики, а также LiveCodeBench для кода. Модель имеет плотную архитектуру Qwen2 и содержит 7,1 млрд параметров. Метаданные указывают контекст до 131 072 токенов, поддержку чата и интерфейса вызова инструментов; формат весов — safetensors, для работы заявлена библиотека Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. README приводит результаты отдельных бенчмарков, однако они не гарантируют качество на других задачах.

h2oai/h2ogpt-gm-oasst1-en-2048-falcon-40b-v1 — текстовая языковая модель H2O.ai, обученная с помощью H2O LLM Studio на базе tiiuae/falcon-40b с использованием датасета OpenAssistant/oasst1. Это плотная авторегрессионная модель семейства RefinedWeb с архитектурой RWForCausalLM и примерно 65 млрд параметров. Она предназначена для генерации ответов и диалогового взаимодействия на английском языке; её можно применять для ответов на вопросы и других задач, решаемых через генерацию текста. Модель принимает текст и выдаёт текст. Репозиторий предоставляет веса PyTorch для использования с Transformers. Лицензия — Apache-2.0. Модель может давать неверные, бессмысленные или нерелевантные ответы и воспроизводить предвзятый либо оскорбительный контент; результаты требуют проверки.

h2oai/h2ogpt-gm-oasst1-en-2048-falcon-7b-v3 — англоязычная диалоговая языковая модель H2O.ai, дообученная в H2O LLM Studio на персонализированной подготовке датасета OpenAssistant/oasst1. Она основана на Falcon-7B с архитектурой RefinedWebModel и содержит 10,9 млрд параметров. Модель предназначена для генерации ответов и ведения диалога на английском языке; её можно запускать через библиотеку Transformers на GPU. Модель может выдавать предвзятые, оскорбительные, ошибочные или бессмысленные ответы, поэтому результаты требуют проверки. Репозиторий распространяется по лицензии Apache-2.0.

HelixLM — языковая модель из серии открытых моделей Helix, разработанная Helix Lab. Это плотная авторегрессионная модель семейства Llama для генерации текста; карточка описывает её как релиз-кандидат, дообученный с чередованием этапов рассуждения. Модель ориентирована на математические задачи, понимание кода и многошаговые логические задачи, а также поддерживает диалог и интерфейс вызова функций. HelixLM рассчитана на решение сложных задач с более продолжительным внутренним рассуждением перед ответом. Разработчик сообщает о конкурентных результатах на внутренних наборах проверки, но не приводит размер модели или длину контекста. Для запуска рекомендуется температура 0,6; модель также предлагается через игровую площадку и API. Модель распространяется по лицензии Apache-2.0. Это релиз-кандидат; заявленные показатели основаны на внутренних тестах и в README не приведены подробные сведения о методике оценки. Увеличенный бюджет рассуждений может повышать расход токенов и задержку ответа.

Dwainj/helm-en-rewrite-merged — модель генерации текста из семейства Qwen2, доступная для использования через библиотеку Transformers. По метаданным она содержит около 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Модель предназначена для генерации и продолжения текста, а также может использоваться в диалоговых сценариях, поскольку в метаданных отмечен conversational-тег. Архитектурные детали до уровня конкретной конфигурации, сведения о разработчике, языках, обучении и результатах оценки в доступных материалах не приведены. При использовании следует учитывать отсутствие опубликованных данных о качестве, безопасности, смещениях, тренировочных данных и рекомендуемых сценариях применения. Лицензия в доступных материалах не указана, поэтому условия распространения и коммерческого использования необходимо проверять отдельно.

HelpingAI Dhanishtha-2.0-preview-GGUF — это квантизированная версия языковой модели Dhanishtha-2.0-preview, разработанной HelpingAI и подготовленной пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста, диалогового взаимодействия, рассуждений с промежуточным мышлением, решения сложных задач, философских и образовательных объяснений. Модель относится к архитектуре Transformers и поддерживает мультиязычную работу, включая английский, хинди, китайский, испанский, французский, немецкий, японский, корейский, арабский, португальский, русский и ряд других языков. Доступны варианты от BF16 размером около 29,54 ГБ до различных квантизаций объёмом примерно от 8,11 ГБ. Квантизации позволяют запускать модель с меньшими требованиями к памяти; варианты Q5 и Q6 заявлены как высококачественные, а Q4_K_M — как оптимальный размер для большинства сценариев. Длина контекста, число параметров и мультимодальные возможности в README не указаны, поэтому модель следует считать текстовой. Сильными сторонами являются поддержка большого числа языков, ориентация на рассуждения и наличие широкого выбора квантизаций для локального запуска. Ограничения связаны с возможной потерей качества в более компактных квантизациях, значительными требованиями к памяти у крупных вариантов и отсутствием данных о производительности, длине контекста и результатах оценки. Модель можно запускать через LM Studio, llama.cpp и другие совместимые проекты. Указана лицензия Apache-2.0.

Hercules-Mini-1.8B — разговорная языковая модель, разработанная M4-ai на основе Qwen1.5-1.8B. Модель дообучена на 700 тысячах примеров Hercules-v4 и имеет плотную архитектуру Qwen2 с 1,5 млрд параметров; она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Модель предназначена для универсального ассистента: ответов на вопросы, математических задач, программирования, вызова функций и ролевых диалогов. В карточке указаны английский и, возможно, китайский языки; метаданные подтверждают английский. Лицензия обозначена в метаданных как other, а в README указана лицензия tongyi-qianwen. Известное ограничение — некорректно настроенный токен окончания последовательности: для предотвращения бесконечной генерации требуется самостоятельно задать критерий остановки. Оценка качества в карточке не приведена.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная GGUF-версия языковой модели Hermes-2-Pro-Llama-3-8B, разработанной NousResearch и преобразованной в GGUF компанией Second State Inc. Это текстовая модель для генерации ответов в диалогах и использования инструментов, совместимая с форматом ChatML и запуском через LlamaEdge. В README указан английский язык. Модель относится к семейству Llama и содержит 8 млрд параметров. Доступны варианты квантизации от 2 до 8 бит, а также версия f16 размером 16,1 ГБ. Рекомендуемые варианты Q4_K_M, Q5_K_M и Q5_K_S обеспечивают компромисс между размером и сохранением качества; наиболее компактные варианты требуют меньшего объёма памяти, но сопровождаются более заметной потерей качества. Указанный размер контекста — 4096 токенов. Для работы требуется LlamaEdge версии 0.11.3 или новее и соответствующий шаблон prompt: chatml для диалогов или chatml-tool для использования инструментов. README не содержит сведений о лицензии исходной модели или этой сборки, поэтому условия распространения и коммерческого использования по представленным данным определить нельзя.

Hermes-2-Pro-Mistral-10.7B-GGUF — это квантизированная GGUF-версия текстовой языковой модели Hermes-2-Pro-Mistral-10.7B, основанной на Mistral-7B-v0.1. Квантизацию выполнил bartowski с использованием llama.cpp. Модель обучалась на датасете teknium/OpenHermes-2.5 и связана с методами дообучения, включая DPO, RLHF, дистилляцию и обучение на синтетических данных. Модель предназначена для генерации текста и диалоговых сценариев на английском языке. Среди заявленных возможностей — следование инструкциям, работа в формате ChatML, function calling и JSON mode. README не содержит данных о размере контекста, точной архитектуре базовой модели, мультимодальности или результатах тестирования, поэтому эти характеристики нельзя оценить по имеющейся информации. Доступно множество вариантов квантизации от Q8_0 до Q2_K, различающихся размером файла и качеством. Q6_K обозначен как рекомендуемый вариант с очень высоким качеством, тогда как более компактные варианты подходят для систем с ограниченными ресурсами, но могут заметно уступать по качеству. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Hermes-2-Theta-Llama-3-8B-GGUF — квантованная GGUF-версия Hermes-2-Theta-Llama-3-8B, созданная с использованием llama.cpp. Исходную модель разработала Nous Research совместно с Charles Goddard из Arcee, при этом Hermes-2 Theta представляет собой экспериментальное объединение Hermes 2 Pro и Meta Llama 3 Instruct с последующим обучением с подкреплением на основе обратной связи человека (RLHF). Модель предназначена для генерации текста и диалогового взаимодействия на английском языке. Модель ориентирована на многошаговые чаты, следование системным инструкциям, генерацию структурированного JSON и вызов функций. Она использует формат промптов ChatML с ролями system, user и assistant, поддерживает chat template и совместима с подходом OpenAI к форматированию диалогов. В карточке также указано обучение на датасете teknium/OpenHermes-2.5 и наличие методов DPO, синтетических данных и дистилляции в контексте разработки. Размер исходной модели — 8B параметров; точный тип и уровень квантования, размер контекста и требования к ресурсам не указаны. Сильными сторонами являются сочетание возможностей Hermes 2 Pro и Llama 3 Instruct, поддержка управляемых диалогов, function calling и JSON-вывода. Модель описана как экспериментальная, а в карточке отсутствуют количественные результаты оценки, сведения о конкретных вариантах квантования и подробные ограничения качества, поэтому пригодность для конкретных задач следует проверять отдельно. Распространение указано по лицензии Apache 2.0.

Hermes-3-Llama-3.1-405B-GGUF — это квантизированная версия текстовой генеративной модели Hermes-3-Llama-3.1-405B, разработанной NousResearch и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для диалогов, генерации текста, ролевых сценариев, следования инструкциям, работы с ChatML, function calling и вывода в формате JSON. Указана поддержка английского языка и текстовая модальность. Модель основана на архитектуре Llama 3.1 и содержит 405 миллиардов параметров. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_L, Q4_K_M, Q4_K_S, IQ4_XS и другие, размером примерно от 93,5 до 431,24 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют значительно больше оперативной или видеопамяти; низкие уровни позволяют экономить ресурсы ценой снижения качества. Квантизации созданы с использованием llama.cpp и imatrix, запуск рекомендуется через LM Studio. Сильными сторонами являются большой размер модели, поддержка инструкций, диалогового формата, function calling и JSON mode, а также широкий выбор вариантов квантизации. Ограничениями выступают исключительно текстовая специализация, заявленная языковая поддержка английского языка и очень высокие требования к памяти даже у компактных вариантов. Контекстное окно в представленном README не указано. Модель распространяется по лицензии llama3.

Hermes-4-14B-4bit — языковая instruction-модель, разработанная NousResearch и преобразованная сообществом mlx-community в формат MLX из NousResearch/Hermes-4-14B с использованием mlx-lm 0.27.0. Модель предназначена для генерации текста и диалоговых сценариев на английском языке, включая ответы общего назначения, рассуждения, ролевое взаимодействие, работу с функциями и инструментами, JSON Mode и структурированными ответами. Модель имеет размер 14 млрд параметров и использует 4-битное квантование. Она совместима с библиотекой mlx-lm и рассчитана на запуск в экосистеме MLX. В описании заявлены поддержка chat-сценариев, ChatML, function calling, tool use и long context, однако точный размер контекстного окна, архитектурные детали, модальности помимо текста и результаты benchmark-тестов не указаны. К сильным сторонам относятся instruction-настройка, возможности рассуждения, структурированной генерации и взаимодействия с инструментами, а также оптимизация в 4-битном формате для использования через MLX. Ограничения включают отсутствие подтверждённых количественных оценок качества и недостаток сведений о производительности, точной поддержке языков и поведении на задачах, не связанных с английским языком. Модель распространяется по лицензии Apache-2.0.

Hermes-4-70B-GGUF — это квантизированная версия языковой модели Hermes-4-70B, разработанной NousResearch. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, создание и преобразование текстов и другие задачи обработки естественного языка. Формат GGUF ориентирован на локальный запуск с использованием совместимых инструментов, включая llama.cpp и LM Studio. В основе модели лежит модель размером 70 миллиардов параметров; точный вариант квантования в README не указан. Модель работает с текстовой модальностью, сведения о поддерживаемых языках и размере контекстного окна не приведены. Квантизация может снизить требования к памяти по сравнению с полноразмерной моделью, но потенциально влияет на точность и качество генерации. Как и другие генеративные модели, она может создавать неточные, вредные или неподходящие ответы. GGUF-квантизация предоставлена командой LM Studio с использованием llama.cpp release b6287, при этом LM Studio не является разработчиком исходной модели. Лицензия в README не указана.

Hippolyta-7B — языковая модель, созданная Kquant03 на основе Mistral-7B-v0.1 и дообученная на наборах OpenOrca, OpenHermes, Dolphin и Airoboros, а также на небольшом объёме частных данных. Это плотная авторегрессионная модель на 7,1 млрд параметров для генерации текста и ответов в формате чат-инструкций с шаблоном Mistral. Модель принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык, а веса опубликованы в формате safetensors. Репозиторий заявляет лицензию Apache-2.0. Модель подходит для диалогов, ответов на вопросы, выполнения текстовых инструкций и написания текста. Автор отмечает, что форматирование части частного обучающего набора требует доработки; описание качества основано на личной оценке автора, а не на приведённых результатах оценки. В README также упомянуты файлы GGUF, но метаданные репозитория указывают safetensors.

Это GGUF-квантизированная версия Mistral-Small-24B-Instruct-2501-abliterated, разработанная huihui-ai и подготовленная квантизатором bartowski. Модель предназначена для генерации текста и работы в формате инструкций, включая диалоговые сценарии, ответы на запросы и другие задачи text-generation. Варианты доступны для запуска через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 24 млрд параметров и распространяется в форматах квантования от Q3 до Q8, а также в полном формате F32. Квантизация выполнена с использованием imatrix; варианты отличаются размером файлов, требованиями к памяти и сохранением качества. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Формат приглашений использует конструкции SYSTEM_PROMPT и INST. К сильным сторонам относятся широкий выбор уровней квантования, возможность локального запуска и высокое качество рекомендуемых вариантов Q5–Q6. Ограничения включают значительные требования к оперативной или видеопамяти для версий высокого качества, а также отсутствие в предоставленных данных сведений о размере контекста, точной архитектуре, мультимодальности и результатах бенчмарков. Обозначение abliterated указывает на изменённую версию исходной instruct-модели, однако конкретные последствия этого изменения в README не описаны. Лицензия — Apache-2.0.

ibm-granite_granite-4.1-8b-GGUF — это квантизированная версия языковой модели granite-4.1-8b, разработанной IBM (ibm-granite) и подготовленной пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель имеет около 8 миллиардов параметров и доступна в вариантах от BF16 до различных уровней квантизации Q2–Q8 и IQ. Размер файлов составляет примерно от 4,07 до 17,59 ГБ, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью работы. Для взаимодействия используется специальный шаблон промпта с ролями system, user и assistant. Сведения о поддерживаемых языках, архитектуре исходной модели, модальностях помимо текста и размере контекстного окна в представленном README не указаны. Сильными сторонами являются широкий выбор квантизаций, возможность локального инференса и совместимость с распространёнными инструментами. Более точные варианты, включая Q6_K и Q6_K_L, обеспечивают качество, близкое к исходному, тогда как варианты Q3 и Q2 рассчитаны на системы с ограниченным объёмом памяти, но сопровождаются заметным снижением качества. Модель распространяется по лицензии Apache-2.0.

Icefog72 разработал Ice0.34n-14.11-RP как слияние предварительно обученных языковых моделей методом SLERP с помощью mergekit. В слиянии использованы Ice0.32-10.11-RP и Ice0.33-13.11-RP; модель основана на Ice0.32-10.11-RP. Это плотная MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов, распространяемая в формате safetensors. Модель предназначена для генерации текста в диалоговом формате. В README приведены результаты Open LLM Leaderboard, включая средний балл 21,83 и результат IFEval 47,87; эти показатели сами по себе не гарантируют качество в конкретных сценариях. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

Ice0.56-17.01-RP — языковая модель на архитектуре Mistral, созданная объединением предварительно обученных моделей с помощью метода SLERP и инструментария mergekit. В README указаны две входящие модели: Ice0.54-17.01-RP и Ice0.7-29.09-RP. Модель предназначена для генерации текста и имеет 7,1 млрд параметров, контекстное окно — 32 768 токенов. Опубликована в формате safetensors и рассчитана на запуск через Transformers. README не описывает конкретные специализации, языки или сценарии применения, поэтому модель можно характеризовать только как генеративную языковую модель общего назначения. Лицензия в предоставленных данных не указана.

Ice0.60-18.01-RP — объединённая предобученная языковая модель, созданная автором репозитория с помощью mergekit. В слияние методом SLERP вошли Ice0.58-18.01-RP и Ice0.59-18.01-RP; конфигурация использует послойные веса для attention и MLP. По архитектуре это плотная MistralForCausalLM размером 7,1 млрд параметров с контекстом до 32 768 токенов. Модель предназначена для генерации текста. Карточка не описывает отдельные специализированные области применения или поддерживаемые естественные языки. Весовые файлы опубликованы в формате safetensors; метаданные указывают библиотеку Transformers. Условия лицензии в предоставленных источниках не приведены.

Inex12Mergerix-7B — слитая модель для генерации текста, созданная Maxime Labonne автоматизированным объединением MSL7/INEX12-7b и MiniMoog/Mergerix-7b-v0.3. В модели семейства Mistral используется плотная архитектура MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста по текстовому запросу. При слиянии применён метод SLERP с настройками, задающими разные веса для слоёв self-attention и MLP; в README также приведён пример загрузки через Transformers. Карточка не описывает специализированные области применения или поддерживаемые языки. Модель распространяется по лицензии Apache-2.0.