I.5Создание и редактирование текста

OpenBuddy — мультиязычная чат-модель, созданная на основе Meta Llama 3.1 8B Instruct. Она предназначена для диалогов и генерации ответов на английском и китайском языках; README также рекомендует использовать быструю реализацию токенизатора Transformers для корректной работы специальных токенов. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель подходит для чат-ботов, ответов на вопросы и генерации текста. Репозиторий содержит веса в формате safetensors; лицензия указана как other, а README отсылает к условиям использования и Acceptable Use Policy OpenBuddy. Модель может выдавать ошибочные, вредные или оскорбительные ответы, поэтому её не следует использовать в критических сценариях, связанных с медициной, безопасностью, финансами или правом.

LoneStriker/openbuddy-mixtral-7bx8-v18.1-32k-GGUF — мультиязычная диалоговая модель OpenBuddy, разработанная проектом OpenBuddy. Она предназначена для генерации текста и общения на естественных языках, включая китайский, английский, французский, немецкий, японский, корейский, итальянский и русский. Модель основана на Mistral Mixtral-8x7B-v0.1. В README указано, что модель распространяется в формате GGUF; идентификатор также указывает на контекст 32K. Архитектурные детали самой версии, точный размер файла, параметры квантования и результаты оценки в предоставленных данных не раскрыты. Модель ориентирована на общие сценарии генерации текста и чат-взаимодействия, но README не подтверждает её пригодность для специализированных задач. Модель может выдавать ошибочные, вредные, оскорбительные или иным образом нежелательные ответы, поэтому её не следует использовать в критически важных и высокорисковых сценариях, включая медицину, управление потенциально опасными системами, а также значимые финансовые и юридические решения. Указанная лицензия — Apache 2.0. Модель предоставляется без гарантий; пользователь самостоятельно принимает связанные с её применением риски.

OpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QAT-GGUF — это набор GGUF-квантизаций языковой модели OpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QAT, разработанной OpenBuddy и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В основе лежит 32-миллиардная модель семейства Qwen3, представленная в нескольких вариантах точности: от BF16 до Q3 и различных Q4–Q8-квантизаций. README указывает поддержку китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Формат GGUF и варианты квантизации позволяют выбирать между качеством, размером файлов и требованиями к оперативной памяти; рекомендуемым универсальным вариантом назван Q4_K_M размером 19,76 ГБ, а Q6_K и Q6_K_L — высококачественными вариантами. Сильные стороны модели — широкий выбор квантизаций, возможность локального запуска и сохранение высокого качества в старших вариантах. Ограничения включают значительные требования к памяти даже для компактных вариантов, а также отсутствие в README сведений о размере контекста, конкретных возможностях рассуждения, мультимодальности и результатах benchmark-тестов. Распространение указано по лицензии Apache-2.0.

OpenBuddy Zero 3B v21.2 — чат-модель семейства OpenBuddy, созданная на архитектуре Meta Llama 3 и обученная предварительно и дообученная на её основе. Она предназначена для диалогов и генерации текста; README указывает английский и китайский как целевые языки, а метаданные также перечисляют французский, немецкий, японский, корейский, итальянский и финский. Модель имеет плотную архитектуру Llama с классом LlamaForCausalLM, около 4,2 млрд параметров и контекст до 32 768 токенов. Модель подходит для чат-ботов и генерации ответов на пользовательские запросы. Репозиторий содержит веса Safetensors; README описывает использование через Transformers и vLLM. Указана лицензия other, а также заявление о создании на основе Llama 3; точные условия использования следует сверять с лицензией репозитория. Авторы предупреждают, что ответы могут быть ошибочными, вредными или оскорбительными, и не рекомендуют применять модель в критических или высокорисковых сценариях, включая медицину, управление опасными системами и важные финансовые или юридические решения.

MaziyarPanahi/openchat-3.5-1210-Seraph-Slerp-GGUF — это набор квантованных файлов в формате GGUF для модели Weyaxi/openchat-3.5-1210-Seraph-Slerp. Исходную модель разработал Weyaxi, а квантование и публикацию набора выполнил MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. В набор входят варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Формат GGUF поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python, Candle и другими инструментами. В README не указаны размер модели, архитектура исходной модели, максимальная длина контекста, поддерживаемые языки или наличие мультимодальных возможностей, поэтому эти характеристики нельзя определить достоверно. Основные преимущества — несколько вариантов квантования и широкая совместимость с инструментами для локального вывода, включая запуск с GPU-ускорением. Более сильное квантование может уменьшать требования к ресурсам, но потенциально снижать точность и качество генерации. Модель распространяется по лицензии Apache-2.0.

JCX-kcuf/openchat_3.5-gpt-4-80k — диалоговая языковая модель на архитектуре MistralForCausalLM, дообученная на данных дистилляции GPT-4. Она основана на openchat/openchat_3.5 и предназначена для генерации ответов в формате OpenChat; для запросов используется шаблон «GPT4 Correct User: {query}GPT4 Correct Assistant: {answer}». Модель содержит 7,1 млрд параметров и имеет контекст длиной 8192 токена. Модель подходит для чат-ботов, ответов на вопросы и генерации текста по запросу. Карточка не сообщает о поддержке конкретных языков. Распространяется по лицензии Apache-2.0.

OpenCM-14 — языковая модель для генерации текста, созданная cookinai как дообучение модели cookinai/CM-14 на датасете teknium/openhermes. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации ответов в диалоговом формате ChatML и исправляет ошибки токена остановки и шаблона запросов, отмеченные в предыдущей версии. Автор предупреждает о возможных ошибках и переобучении; модель описана как первый эксперимент автора. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но запрещающая коммерческое применение.

OpenDolphinMaid-4x7b — языковая модель для генерации текста, созданная Undi95 слиянием OpenHermes-2.5-Mistral-7B, Dolphin-2.6-Mistral-7B-DPO и двух копий Noromaid-7B-0.4-DPO. Модель построена на архитектуре Mixtral MoE, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. В репозитории размещены веса в формате safetensors; README описывает формат fp16 и шаблон диалога ChatML. Модель предназначена для диалогов и генерации текста по инструкциям. Разработчик сообщает, что слияние было нацелено на улучшение способностей модели при размере меньше, чем у варианта 8x7B, но не приводит количественных оценок качества. Модель помечена как NSFW и не предназначена для всех аудиторий. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

OpenELM-3B-Instruct — инструкция-дообученная языковая модель из семейства OpenELM, разработанного Apple. Она предназначена для генерации текста по запросу и выполнения инструкций в исследовательских и прикладных сценариях. Модель использует плотную архитектуру трансформера с причинным языковым моделированием. В семействе OpenELM применяется послойное распределение параметров, призванное повысить эффективность и точность; эта версия содержит 3 млрд параметров. Семейство включает предварительно обученные и инструкционно дообученные варианты, а веса опубликованы в формате Safetensors. Модель подходит для генерации ответов, выполнения текстовых инструкций и экспериментов с языковыми моделями. В README приведены результаты оценки вариантов семейства на тестах рассуждения и понимания текста. Поддерживаемые языки и длина контекста для этой версии в предоставленных данных не установлены. Разработчики предупреждают, что ответы могут быть неточными, вредными, предвзятыми или нежелательными, и не предоставляют гарантий безопасности. Модель распространяется по лицензии apple-amlr. Для обучающих наборов данных могут действовать отдельные лицензии и условия использования, которые следует проверить перед применением.

duyntnet/OpenHermes-2.5-Mistral-7B-imatrix-GGUF — набор квантованных версий модели OpenHermes-2.5-Mistral-7B, разработанной Teknium. Модель предназначена для генерации текста и диалогового взаимодействия, включая программирование, создание рецептов, обсуждение абстрактных тем и ролевые сценарии. Идентификатор также указывает на формат GGUF и использование imatrix-квантизации. В основе лежит OpenHermes-2.5-Mistral-7B; размер базовой модели — 7 миллиардов параметров. Модель относится к текстовым, поддерживает английский язык и предназначена для text generation. README не содержит сведений о точной архитектуре, доступных вариантах квантования, размере контекста, системных требованиях или поддерживаемых модальностях помимо текста. Сильные стороны модели — универсальность в диалоговых и генеративных сценариях, а также наличие квантованных вариантов, потенциально удобных для локального запуска. Ограничения включают отсутствие подтверждённых данных о качестве, бенчмарках, многоязычности и фактических требованиях к ресурсам. Лицензия указана как other, без дополнительных условий использования в README.

argilla/OpenHermes-2.5-Mistral-7B-top-SPIN-iter0 — разговорная языковая модель, дообученная на базе teknium/OpenHermes-2.5-Mistral-7B на наборе argilla/10k_prompts_top_SPIN_iter0. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговые сценарии; заявленная длина контекста — 32 768 токенов. Её можно использовать для генерации ответов в чате и других задач продолжения текста. В карточке приведены лишь краткие сведения о дообучении; подробные оценки качества, рекомендуемые сценарии, сведения о разработчике и лицензии отсутствуют. Репозиторий содержит веса в формате safetensors.

vicgalle/OpenHermes-Gemma-2B — диалоговая языковая модель семейства Gemma, опубликованная vicgalle. Модель содержит 2,5 млрд параметров, использует плотную архитектуру GemmaForCausalLM и рассчитана на генерацию текста и ведение диалога. Максимальная длина контекста составляет 8192 токена. Модель подходит для генерации ответов в чате и общих текстовых запросов. В карточке приведены результаты оценивания на Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag. Модель распространяется под лицензией Apache-2.0.

Open-Instruct Baize 13B — языковая модель на архитектуре LLaMA, дообученная исследователями Allen Institute for AI на датасете Baize для следования инструкциям и генерации текста. Это diff-модель: для её использования нужны исходные веса совместимой LLaMA-модели в формате Hugging Face и применение разницы весов согласно инструкциям карточки. Модель содержит 12,9 млрд параметров, работает с текстом и имеет контекстное окно 2048 токенов. Она предназначена для ответов на вопросы и выполнения инструкций; в карточке также приведены результаты оценок по тестам на знания, рассуждение, вопросы и генерацию кода. Модель обучена следовать заданному формату запросов, поэтому его соблюдение влияет на качество генерации. Модель создана в рамках исследования настройки инструкций на открытых ресурсах. Она распространяется по лицензии AI model license вместе с исходной лицензией LLaMA; перед использованием следует учитывать условия обеих лицензий. README не приводит сведений о конкретных ограничениях качества за пределами опубликованных результатов тестирования.

Open-Instruct Stanford Alpaca 7B — языковая модель семейства LLaMA, разработанная Allen Institute for AI и дообученная на наборе инструкций Stanford Alpaca. Это 6,6-миллиардная плотная авторегрессионная модель для генерации текста по инструкциям и ответов на запросы; максимальный контекст составляет 2048 токенов. Для работы нужны исходные веса LLaMA в формате Hugging Face: опубликованный репозиторий содержит diff весов, а не самостоятельную полную модель. Модель предназначена для диалоговых и текстовых задач общего назначения, включая ответы на вопросы, простые рассуждения и генерацию кода. В карточке приведены результаты по MMLU, GSM, BBH, TydiQA и Codex-Eval; они показывают возможности модели, но сами по себе не гарантируют качество в конкретном применении. В метаданных указан английский язык. Использование регулируется лицензией AI model license вместе с исходной лицензией LLaMA.

OpenLLaMA 13B — авторегрессионная языковая модель семейства LLaMA, разработанная OpenLM Research как открытая репликация LLaMA. Модель содержит 12,9 млрд параметров и обучена с нуля на корпусе RedPajama объёмом около 1,2 трлн токенов; архитектура и параметры обучения следуют работе LLaMA. Доступны веса PyTorch, контекст составляет 2048 токенов. Модель предназначена для продолжения текста и генерации ответов по текстовому запросу, а также для оценки языковых моделей и экспериментов с few-shot-примерами. В опубликованных оценках она показывает сопоставимые с исходной LLaMA 13B и GPT-J результаты по большинству задач, хотя эти результаты зависят от протокола оценки. README предупреждает, что fast tokenizer может выполнять токенизацию некорректно; рекомендуется использовать LlamaTokenizer или AutoTokenizer с use_fast=False. Для few-shot-оценки рекомендуется добавлять BOS-токен. Лицензия Apache-2.0.

itsliupeng/openllama-7b-base — базовая авторегрессионная языковая модель семейства LLaMA, представленная как воспроизведение OpenLLaMA. В README описано обучение на 128 ускорителях H100 в формате bfloat16 на корпусах Falcon, StarCoder и RedPajama, включавших около одного триллиона токенов; модель прошла один цикл обучения. В репозитории указаны 6,6 млрд параметров, контекст до 2048 токенов и библиотека Transformers. Модель предназначена для генерации текста и продолжения текстовых последовательностей. Данные обучения охватывают веб-тексты, код, Википедию, научные статьи, книги и Stack Exchange; метаданные указывают английский язык. README приводит результаты оценивания на нескольких тестах рассуждения и понимания текста. Лицензия — Apache 2.0.

Open_Maid_Samantha_Hermes_Orca_dare_tiesv0.1 — объединённая языковая модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit и метода DARE TIES. В основу объединения вошла mistralai/Mistral-7B-v0.1; также использованы OpenHermes-2.5-Mistral-7B, Noromaid-7B-0.4-DPO, Mistral-7B-OpenOrca и samantha-1.1-westlake-7b. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для генерации текста. Заявленная длина контекста — 32 768 токенов. В README приведены результаты оценивания на Open LLM Leaderboard, включая средний балл 67,80, но данных о поддерживаемых естественных языках и прикладных областях нет. Репозиторий содержит веса в формате safetensors. Модель опубликована по лицензии CC BY 4.0. Результаты оценивания не гарантируют качество на конкретных задачах; README не приводит подробных ограничений или результатов по остальным метрикам.

OpenOrca-Platypus2-13B-imatrix-GGUF — набор imatrix-квантизированных версий модели OpenOrca-Platypus2-13B, разработанной на основе объединения garage-bAInd/Platypus2-13B и Open-Orca/OpenOrcaxOpenChat-Preview2-13B. Модель предназначена для генерации текста и выполнения инструкций; в карточке указано, что она относится к текстовым моделям и поддерживает английский язык. Это 13-миллиардная модель в формате GGUF, ориентированная на запуск средствами, совместимыми с GGUF. Для базовой версии Platypus2-13B указан шаблон запросов с секциями «### Instruction» и «### Response»; для варианта OpenChat рекомендуется шаблон OpenChat Llama2 V1. Дополнительные сведения об архитектуре, размере контекста, поддерживаемых модальностях и практических характеристиках не приведены. В карточке не указаны конкретные преимущества, ограничения производительности или требования к оборудованию. Лицензия обозначена как other, без подробного описания условий использования, поэтому перед применением необходимо ознакомиться с лицензиями исходных моделей и условиями распространения данной сборки.

Это дообученная модель OpenSci для генерации текста в диалоговом формате. Она создана на основе ali-elganzory/open-sci-ref-v0.02-1.7b-nemotron-hq-mv_reasoning-300B-4096-longsft_16k и обучалась с помощью TRL; модель содержит 1,7 млрд параметров, использует плотную архитектуру OpensciForCausalLM и принимает контекст до 16 384 токенов. Модель подходит для генерации ответов на вопросы и ведения текстового диалога. В карточке приведён пример генерации ответа на открытый вопрос. Сведения о конкретных языках обучения и специализации не приведены, поэтому модель следует рассматривать как средство общего назначения. Веса опубликованы в формате safetensors, для запуска в README показан Transformers pipeline с использованием CUDA. Лицензия в предоставленных данных не указана.

bartowski/open-thoughts_OpenThinker-32B-GGUF — набор GGUF-квантизаций модели OpenThinker-32B, разработанной проектом open-thoughts. Репозиторий подготовлен bartowski с использованием llama.cpp и метода imatrix; исходная модель обучена на датасете open-thoughts/open-thoughts-114k. Модель относится к генеративным текстовым моделям и предназначена для запуска локально через llama.cpp, LM Studio и совместимые проекты. Варианты доступны в форматах от F16 до Q3 и IQ3/IQ4 с размерами примерно от 13,71 до 65,54 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как варианты с меньшей разрядностью требуют меньше оперативной памяти, но могут заметно уступать по качеству. В README не указаны архитектура исходной модели, поддерживаемые языки, размер контекста и мультимодальные возможности. Для работы следует использовать шаблон сообщений с маркерами <|im_start|> и <|im_end|>. Модель распространяется по лицензии Apache-2.0. Ограничения включают высокие требования к памяти для полноразмерных и качественных квантованных вариантов, а также возможное снижение качества при использовании низкоразрядных форматов.

pkaryarypis/opt-6.7b-sft — дообученная модель семейства OPT, созданная на основе facebook/opt-6.7b и обученная на наборе данных generator. Она предназначена для генерации текста и диалоговых сценариев по текстовому запросу. Модель содержит 8,8 млрд параметров, использует архитектуру OPTForCausalLM и принимает контекст длиной до 2048 токенов. В карточке приведён результат оценки на тестовом наборе: loss 1,2324. Подробности о составе данных, методике оценки и практических ограничениях не раскрыты. Модель опубликована в формате safetensors; лицензия указана как other.

Orca 2 7B — языковая модель Microsoft, представленная в квантованном формате GGUF компанией TheBloke. Это текстовая модель генерации на базе архитектуры типа Llama с примерно 7 млрд параметров, предназначенная для локального запуска и диалогового взаимодействия. Модель использует шаблон запросов ChatML с системными и пользовательскими сообщениями. Репозиторий содержит варианты квантования от 2 до 8 бит, рассчитанные на инференс с использованием CPU и GPU. Формат GGUF совместим с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие решения. Разные уровни квантования позволяют выбирать компромисс между требованиями к памяти, скоростью работы и сохранением качества, однако конкретные характеристики контекстного окна, поддерживаемые языки и результаты оценки в README не указаны. Модель подходит для локальной генерации текста и чат-сценариев при наличии совместимого программного обеспечения. Ограничения включают отсутствие в предоставленных данных подробностей о мультимодальности, языковом покрытии, контекстном окне и специализированных возможностях. Лицензия обозначена как other, но её конкретные условия в README не приведены.

Orca-4B-Instruct — компактная инструктивная языковая модель, опубликованная roskosmos19. По карточке она основана на архитектуре Qwen3 и предназначена для диалогов и выполнения текстовых инструкций. Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и принимает контекст до 16 384 токенов. Модель рассчитана на генерацию ответов, следование инструкциям и разговорные сценарии; в метаданных также заявлен интерфейс вызова инструментов. Карточка описывает оптимизацию для экономичного запуска: сокращённый контекст и удалённые мультимодальные специальные токены уменьшают требования к памяти, сохраняя фокус на текстовых ответах. Доступны веса в формате safetensors. Модель подходит для локальных чат-ботов, помощников и других приложений, где важны умеренный размер и стоимость инференса. Ограничение контекста до 16 384 токенов исключает обработку очень длинных запросов; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — Apache-2.0.

OrcaMaid V2 Fix 13B 32K — языковая модель для генерации текста и выполнения инструкций, разработанная ddh0. Представлена в формате GGUF и квантована TheBloke для запуска на CPU и GPU через llama.cpp и совместимые приложения. Модель относится к семейству Llama и имеет около 13 миллиардов параметров; заявлено контекстное окно до 32 000 токенов. Сведения о языках обучения и поддерживаемых модальностях отсутствуют, поэтому модель следует рассматривать как текстовую. Модель предназначена для диалогов, ответов на инструкции, генерации и продолжения текста, а также сценариев локального запуска, включая использование через text-generation-webui, KoboldCpp, GPT4All, LM Studio и другие совместимые инструменты. GGUF доступен в вариантах квантования от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью и качеством, однако более сильное квантование может снижать точность ответов. В README не приведены независимые оценки качества, подробности датасета или конкретные сильные стороны модели. Лицензия указана как microsoft-research-license, при этом автор README отмечает возможное одновременное действие лицензии исходной модели и Meta Llama 2 License. Условия такого двойного лицензирования требуют дополнительной проверки в репозитории исходной модели перед использованием.

pankajmathur/orca_mini_v9_1_1B-Instruct — диалоговая языковая модель Pankaj Mathur, дообученная на основе meta-llama/Llama-3.2-1B-Instruct. Она предназначена для генерации текста в формате беседы: ответы на вопросы, помощь в написании текста и другие запросы к виртуальному помощнику. Модель использует плотную архитектуру LlamaForCausalLM, содержит 1,2 млрд параметров и имеет контекстное окно до 131 072 токенов. Принимает текст и выдаёт текст; в метаданных указан английский язык. Модель распространяется в формате safetensors по лицензии llama3.2. Компактный размер делает её подходящей для развёртывания в условиях ограниченных ресурсов. Как и другие небольшие языковые модели, она может давать неточные, предвзятые или нежелательные ответы; перед применением в конкретном продукте рекомендуется проверять её качество и настраивать меры безопасности.

OrionStar-Yi-34B-Chat — разработанная компанией OrionStar чат-модель на архитектуре Yi, полученная дообучением Yi-34B на более чем 150 тысячах высококачественных примеров. Она предназначена для диалогов и генерации текста на китайском и английском языках; в README также приведены примеры общения и решения математических задач. Модель содержит 33,9 млрд параметров, использует плотную архитектуру YiForCausalLM и поддерживает контекст до 4096 токенов. Разработчик сообщает об оценке модели на общих китайских и англоязычных бенчмарках C-Eval, MMLU и CMMLU, но приведённые результаты не позволяют считать её специализированной для отдельных прикладных областей. Модель доступна в форматах PyTorch и Safetensors. Для использования заявлены Apache 2.0 и лицензионное соглашение сообщества Yi-34B; перед внедрением следует учитывать оба условия. Как и другие большие языковые модели, она может выдавать неточные или вводящие в заблуждение ответы.

Ornith-1.5-35B-A3B-GGUF — это набор GGUF-квантизованных производных модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Конвертацию в GGUF, квантизацию и публикацию выполнил NANI-Nithin с использованием upstream llama.cpp. Модель предназначена для генерации текста и локального инференса в llama.cpp и совместимых приложениях, включая LM Studio, KoboldCpp, Open WebUI, Jan и Text Generation WebUI с бэкендом llama.cpp. Базовая модель представляет собой vision-language модель архитектуры Qwen3.5-MoE с 40 трансформерными слоями, гибридным вниманием на основе Gated DeltaNet linear attention и full attention, 256 маршрутизируемыми экспертами, из которых 8 активируются для каждого токена, одним MTP-слоем и позиционным кодированием MRoPE. Однако опубликованные GGUF-файлы являются текстовыми: vision tower исходной VLM-модели пропущена при конвертации, поэтому обработка изображений в них не поддерживается. Указан язык English; контекст в README не указан. Репозиторий предлагает квантизации от Q2_K до Q8_0, а также IQ-варианты. Q4_K_M рекомендована как наиболее сбалансированный вариант, Q8_0 обеспечивает максимальное качество, а Q2_K предназначена для систем с жёсткими ограничениями по памяти, но может заметно уступать в качестве. Для IQ-квантизаций использовалась importance matrix, построенная на калибровочных данных WikiText-2; для запуска требуется свежая версия llama.cpp или совместимого рантайма с поддержкой архитектуры Qwen3.5-MoE. Модель распространяется по лицензии Apache-2.0.

Ornith 1.5 35B A3B NVFP4 в формате GGUF — конверсия чекпойнта Ornith AI для запуска в совместимых с GGUF средах, включая llama.cpp. Модель построена на архитектуре Qwen3.5 MoE: всего 35 млрд параметров, из которых около 3 млрд активны при обработке запроса. Репозиторий сохраняет исходное представление NVFP4 mixed precision в GGUF без повторной квантизации в другой формат. Модель предназначена для генерации текста и диалогового использования. Для запуска требуется среда инференса с поддержкой GGUF и тензоров NVFP4; совместимость зависит от конкретного рантайма. Базовая модель указана как Ornith-1.5-35B-A3B-NVFP4, лицензия — MIT.

Ornstein-Hermes-3.6-27b-i1-GGUF — квантизированная версия модели Ornstein-Hermes-3.6-27b, разработанной GestaltLabs и подготовленной в формате GGUF пользователем mradermacher. В README также указано использование набора данных DJLougen/Acta и наличие тегов, связанных с семейством Qwen, мультимодальностью и Hermes. Модель предназначена для генерации текста на английском языке, обработки изображений вместе с текстом, вызова функций, работы с инструментами и агентских сценариев. Заявлены мультимодальные возможности image-text-to-text, function calling и tool use, однако точный размер контекстного окна и подробности архитектуры в README не указаны. Доступно множество вариантов квантизации с размером файлов примерно от 7,2 до 22,2 ГБ. Варианты различаются балансом между размером, скоростью и качеством: README отмечает, что некоторые низкобитные варианты имеют низкое качество, а i1-Q4_K_M рекомендуется как быстрый вариант. Качество конкретной версии зависит от выбранного типа квантизации. Модель распространяется по лицензии Apache-2.0.

OrpoLlama3-8B-FT — диалоговая языковая модель семейства Llama 3, разработанная Sonu Kumar и дообученная методом ORPO. Она предназначена для генерации текста и ответов в чат-сценариях. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Она принимает текст, поддерживает контекст до 8192 токенов и распространяется в формате Safetensors. В метаданных указан датасет HuggingFaceH4/ultrafeedback_binarized; карточка не приводит сведения о поддерживаемых естественных языках. Модель выпущена под лицензией Apache 2.0. Карточка не содержит результатов оценки качества или подробностей о поведении после дообучения.