II.7DevOps, облако и эксплуатация IT-систем

Карточка модели Openintelligent123/phi-4 на Hugging Face совпадает с карточкой microsoft/phi-4, поэтому описание составлено по ней. Phi-4 — языковая модель Microsoft Research с плотной архитектурой декодерного Transformer и 14,1 млрд параметров. Она принимает текстовые запросы, лучше всего в формате чата, и генерирует текст; длина контекста составляет 16 тысяч токенов. Модель доступна в формате Safetensors и распространяется по лицензии MIT. Модель предназначена для англоязычных сценариев общего назначения, особенно для рассуждений, логики, математики, программирования и следования инструкциям в условиях ограничений по памяти, вычислениям или задержке. При обучении использовались отфильтрованные общедоступные материалы, учебные и синтетические данные, академические книги, наборы вопросов и ответов, а также данные для настройки диалогов. Модель прошла supervised fine-tuning и direct preference optimization; около 8% обучающих данных были многоязычными. Phi-4 может служить компонентом генеративных ИИ-приложений и компактной альтернативой более крупным моделям для ряда задач рассуждения. Это статическая модель со срезом знаний по июнь 2024 года; ответы могут быть неточными, а качество и безопасность следует оценивать для конкретного применения, особенно в высокорисковых сценариях. Карточка указывает на основной фокус на английском языке.

TeichAI/Qwen3-14B-Claude-4.5-Opus-High-Reasoning-Distill-GGUF — языковая модель, разработанная TeichAI на базе unsloth/Qwen3-14B. Она дообучена методом дистилляции на наборе данных TeichAI/claude-4.5-opus-high-reasoning-250x, созданном на основе ответов Claude Opus 4.5 с высокой интенсивностью рассуждений. Модель предназначена для генерации текста общего назначения, программирования и научных задач. В README указано 14 млрд параметров, однако сведения об архитектурных деталях, модальностях, поддерживаемых языках и размере контекста отсутствуют. Формат GGUF предполагает использование в совместимом локальном инференсе, но конкретные варианты квантования и требования к ресурсам не приведены. Сильной стороной модели является специализация на задачах, требующих развернутого рассуждения, включая кодирование и научные вопросы. Ограничения также связаны с отсутствием подробных данных о качестве, бенчмарках, языковом покрытии, контекстном окне и рекомендуемых параметрах запуска. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-AEON-Ultimate-Uncensored-UD-GGUF — набор GGUF-квантизованных версий модели Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 от AEON-7. Модель предназначена для генерации текста, включая диалоги, работу с кодом, рассуждениями и агентскими сценариями с function calling. Указана поддержка английского и китайского языков, а также vision через компонент mmproj. Это гибридная архитектура GatedDeltaNet и attention: 48 из 64 слоёв используют рекуррентный SSM-механизм. В поставку входят варианты AWQ-UD и Baseline UD с квантизацией Q8_0, Q6_K, Q5_K_M и IQ4_XS; размеры файлов составляют примерно 25,9–34,7 ГБ. При квантизации рекуррентные тензоры SSM сохраняются в исходной точности, применяются матрица важности и чувствительные к тензорам настройки точности. Поддержаны MTP для speculative decoding и контекст калибровки до 32 768 токенов, однако максимальный контекст модели в README не указан. AWQ-UD рекомендуется как вариант с более низкой perplexity, тогда как Baseline UD ближе к распределению выходов F16 по KL-divergence. Модель рассчитана на запуск через llama.cpp; для максимальной производительности README также указывает SGLang с DFlash2. Ограничения включают зависимость качества и скорости от выбранного кванта и аппаратного обеспечения, а также отсутствие подробных данных о возможностях vision и точных требованиях к памяти. Лицензия — Apache-2.0.

ChrisandErin86/Qwen3.8-27B-OBLITERATED — текстовая авторегрессионная модель генерации на базе Qwen/Qwen3.8-27B, модифицированная с применением метода abliteration для удаления или ослабления поведения, связанного с отказами и защитными ответами. В README также упоминаются подходы complementary abliteration blending, итеративное уточнение и целевая обработка корпусов. Модель ориентирована на диалоговые сценарии, генерацию текста и кода, включая задачи, в которых исходная модель могла отказываться отвечать; отдельно заявлена пригодность для агентных систем и исследований AI safety. Разработчик базовой модели — Qwen, автор производной модели указан как ChrisandErin86. Из известных характеристик указаны архитектура Qwen3, размер 27B параметров, текстовая модальность и поддержка форматов GGUF, Safetensors и MLX. Заявлена совместимость с thinking mode и чат-шаблоном; точный размер контекста и перечень поддерживаемых языков в предоставленном фрагменте README не указаны. Для инференса рекомендуются температура 0, repetition_penalty 1.15, не менее 2048 новых токенов и отсутствие системного промпта; для агентных сценариев предложены более короткие ответы и периодическое суммирование контекста. Сильная сторона модели — сниженное количество отказов при сохранении большей части возможностей исходной Qwen3.8-27B: в README приведён результат MMLU 82,3% против 84,5% у базовой модели, а также заявлены успешные результаты на тестах генерации кода и некоторых расширенных практических задачах. Ограничениями являются небольшая потеря качества относительно базовой модели, риск циклической генерации без настройки repetition_penalty и потенциальные риски применения менее ограниченной модели. Лицензия — Apache-2.0.

Это квантованная сборка Qwen3.8-9B-Distill-uncensored-heretic в формате GGUF, подготовленная Atomic-Germ на основе репозитория petruhonk/Qwen3.8-9B-Distill-uncensored-heretic. Модель предназначена для диалоговой генерации текста и запуска через llama.cpp; в метаданных также отмечены рассуждения и вызов функций как характеристики исходной модели. Сборка подходит для локального инференса через CLI или сервер llama.cpp. Размер модели — 9 млрд параметров; применяется квантование Q4_K_M. Для базовой модели в каталоге указаны диалог, рассуждения, математика, код и вызов инструментов. Репозиторий распространяется по лицензии Apache-2.0. Карточка этой сборки отсылает за подробностями о поведении и ограничениях к карточке исходной модели.

RockTalk/Qwen3.8-Flash-Next-MLX-4bit — это 4-битная MLX-квантизованная версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Порт создан Rocktalk-Holdings для запуска на Apple Silicon; модель использует архитектуру qwen4_exp и предназначена для генерации текста, программного кода, структурированных ответов и агентских сценариев. Вариант с соответствующим мультимодальным окружением также поддерживает обработку изображений и видео, а сама модель — вызовы инструментов. Заявленный размер составляет около 180 млрд параметров: 125 млрд параметров MoE-трансформера, из которых активно около 6 млрд, 51,2 млрд параметров n-граммной embedding-таблицы и 4 млрд параметров MTP-головы для спекулятивного декодирования. Архитектура включает 512 экспертов, разреженное внимание QSA на 12 из 48 слоёв, Gated DeltaNet на 36 слоях и Hyper-connections. Основной заявленный язык — английский. Контекст модели в README не указан. Для MLX-версии применяется преимущественно 4-битная аффинная квантизация с размером группы 64, а отдельные компоненты используют 8-битное представление. Сильной стороной модели является эффективный запуск на компьютерах Apple Silicon: на M3 Ultra заявлена скорость около 26–35 токенов в секунду, а при использовании внешнего MTP-драфтера и gmlx — до 55–86 токенов в секунду в зависимости от типа содержимого. Спекулятивное декодирование сохраняет идентичность последовательностей с обычным жадным режимом в заявленных проверках. Ограничения включают очень высокие требования к памяти, зависимость от специализированного MLX/gmlx-стека и экспериментальный статус архитектуры; заявленная поддержка изображений, видео и инструментов относится к дополнительной конфигурации с отдельным vision projector и совместимым сервером. Лицензия указана как other, без дополнительных условий в README.

QwQ-SkyT1-32B-Preview — объединённая языковая модель на 32 млрд параметров, созданная методом линейного слияния Qwen/QwQ-32B-Preview и NovaSky-AI/Sky-T1-32B-Preview с помощью mergekit. Она использует плотную архитектуру Qwen2 и предназначена для диалоговой генерации текста; базовые модели рассчитаны в том числе на математические рассуждения и программирование. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и доступна в формате safetensors для библиотеки Transformers. Весовая точность при слиянии — float16. Подходит для диалоговых помощников, решения математических задач и помощи с программированием. Карточка не сообщает отдельной лицензии, поэтому условия использования следует проверять у авторов базовых моделей и в метаданных репозитория. Это предварительная версия, а её практическое качество для конкретных задач требует оценки.

RuDolph-Hermes-7B — разговорная языковая модель, созданная автором карточки как объединение двух моделей Mistral 7B: Dolphin 2.2.1 и OpenHermes 2.5. Слияние выполнено методом SLERP с кривой, вдохновлённой сигмоидой; модель имеет архитектуру MistralForCausalLM и около 7,1 млрд параметров. Репозиторий предоставляет веса в формате safetensors. Модель предназначена для диалогов и генерации текста, в том числе для ответов на запросы и помощи с кодом. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В карточке не указаны специальные языки или предметные области, поэтому языковая поддержка не уточняется. Автор характеризует модель как хорошую разговорную модель, но численные результаты приведены лишь для части оценочных тестов и не гарантируют качество в конкретных сценариях. Лицензия в предоставленных данных не указана.

RedHatAI/SmolLM3-3B-FP8-dynamic — квантованная версия языковой модели SmolLM3-3B, разработанная Red Hat (Neural Magic) на базе модели HuggingFaceTB/SmolLM3-3B. Это текстовая модель для генерации и преобразования текста, включая диалоговые сценарии. Заявлена поддержка английского, французского, испанского, итальянского, португальского, китайского, арабского и русского языков. Модель использует архитектуру SmolLM3-3B и принимает текст на входе, выдавая текст на выходе. Веса и активации линейных операторов в трансформерных блоках квантованы в FP8: веса — статически по каналам, активации — динамически по токенам. По данным разработчика, это примерно вдвое снижает требования к памяти GPU и размер файлов, а также примерно вдвое увеличивает пропускную способность матричных вычислений. Для эффективного развёртывания рекомендуется vLLM; поддерживается OpenAI-совместимый серверный интерфейс. В README также указана максимальная длина контекста 65 536 токенов в конфигурации оценки. На тестах AIME24, MATH-500 и GPQA-Diamond квантованная версия показала средний результат 58,90 против 58,61 у исходной модели, что указывает на близкое сохранение качества рассуждений после квантования. Ограничения включают зависимость от совместимого программного стека для эффективного использования FP8 и отсутствие в представленном описании подробных сведений о качестве на других задачах. Модель распространяется по лицензии Apache-2.0.

Gille/StrangeMerges_13-7B-slerp — слитая модель генерации текста, созданная с помощью LazyMergekit из Gille/StrangeMerges_12-7B-slerp и uukuguy/speechless-zephyr-code-functionary-7b. Она основана на плотной архитектуре Mistral с 7,1 млрд параметров и рассчитана на генерацию текста и диалоговые задачи с контекстом до 32 768 токенов. Слияние выполнено методом SLERP с настройками для слоёв внимания и MLP. Модель подходит для диалоговых приложений и генерации текста, включая сценарии с кодом и вызовом функций, на которые указывает один из исходных чекпойнтов. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0.

Swift-Qwen3.8-27B-GGUF — квантованная версия reasoning-эффективной производной модели Qwen3.8-27B, разработанная компанией UkisAI. Модель предназначена для задач рассуждения, включая общие вопросы, математику, следование инструкциям и программирование, где важны качество ответов и скорость генерации. По данным README, модель распространяется в формате GGUF и предназначена для использования с llama.cpp. Она сохраняет производительность, близкую к базовой Qwen3.8-27B: заявлено снижение качества менее чем на 1% при сокращении числа thinking-токенов в среднем на 58,3% и ускорении до 1,95 раза на ряде задач. В опубликованных тестах результаты Swift близки к базовой модели на GPQA-Diamond, MMLU-Pro, C-Eval, IFBench и математических бенчмарках, однако на некоторых из них качество ниже. Модель подходит для локального запуска и приложений, которым требуется эффективное рассуждение при ограниченных вычислительных ресурсах. Сведения о поддерживаемых языках, размере контекста и точном методе квантования в представленном README не указаны, поэтому эти характеристики нельзя определить достоверно. Модель распространяется по лицензии swift-open-license-1.0; README также содержит ссылку на условия доступа и enterprise-лицензирования.

Synesthesia-3.1-task_arithmetic — объединённая языковая модель, созданная bunnycore с помощью mergekit методом task arithmetic на базе unsloth/Meta-Llama-3.1-8B. В слияние вошли Replete-LLM-V2, Reflection, HyperLlama и Replete-Coder на базе Llama 3.1. Модель предназначена для генерации текста и диалогов; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, контекст — до 131 072 токенов. Модель может применяться для универсального общения и генерации текста, включая задачи с кодом. В метаданных указана библиотека Transformers, а веса представлены в формате safetensors. README и метаданные не сообщают отдельные оценки качества или специальные ограничения. Лицензия в предоставленных данных не указана.

ConwayResearch выпустила Underdog-27B-1.0-Ternary — разговорную модель-ассистент с 27 млрд параметров, предназначенную для локального запуска. Её дообучили на основе Bonsai 2 для диалогов, письма, генерации кода и суммаризации; обучение с учётом квантования и компактные троичные веса рассчитаны на эффективный инференс. Модель принимает текст и генерирует текст. В карточке указаны английский и китайский языки. Репозиторий содержит варианты GGUF и MLX; README описывает ускоренный запуск GGUF через Splash и локальные сценарии на Apple Silicon. В тесте на Apple M5 Max для генерации кода измерена скорость до 157,9 токена в секунду, но это результат конкретной конфигурации, а не общая гарантия производительности. Модель распространяется по лицензии Apache-2.0. Для MLX-варианта README предписывает использовать комплект runtime, конфигурации, токенизатора и шаблона чата вместе с весами.

Это GGUF-сборка Qwen3.8 27B, подготовленная zhangrover для локального запуска на компьютерах с ограниченной видеопамятью. В основе лежит unsloth/Qwen3.8-27B-GGUF; веса подвергнуты смешанной квантизации KQV-Q4 + IQ3 Floor, а полный MTP-блок из 15 тензоров сохранён в файле размером около 10,13 ГиБ. Модель предназначена для диалогов и генерации текста, включая рассуждения и программирование. По заявлению автора, на видеокарте с 16 ГБ памяти при кэше KV Q4 помещается контекст свыше 130 тысяч токенов. В полной точности ключевые K/Q/V-блоки оставлены на уровне Q4_K, нормализации — F32, а значительная часть FFN-контуров снижена до IQ3_XXS; MTP позволяет использовать спекулятивное декодирование в llama.cpp. Сборка рассчитана на запуск через llama.cpp; производительность и качество зависят от оборудования, настроек квантизации и совместимости используемой версии. Автор указывает, что модель предоставляется без гарантий. Лицензия — Apache-2.0.

Accio-Lab_occamy-1.0-GGUF — это квантизированная версия модели occamy-1.0, разработанной Accio-Lab и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 35 млрд параметров и предназначена для локального запуска в задачах агентного взаимодействия, совместной работы, использования инструментов и программирования. Модель поддерживает мультимодальный ввод: текст и изображения при наличии файла mmproj. В карточке также заявлены архитектура mixture-of-experts и поддержка длинного контекста, однако точный размер контекстного окна и перечень поддерживаемых языков не указаны. Спекулятивное декодирование не поддерживается, а для квантизации использована imatrix. Доступны варианты от BF16 до низкобитных Q2–Q8, что позволяет выбирать между качеством, требованиями к памяти и скоростью; рекомендуемым универсальным вариантом назван Q4_K_M размером 22,32 ГБ. К сильным сторонам относятся большой размер, поддержка изображений, сценариев tool-use и агентных приложений, а также широкий выбор уровней квантизации. Ограничения связаны с высокими требованиями к памяти даже для компактных вариантов, необходимостью отдельного mmproj-файла для работы с изображениями и отсутствием в README подробных результатов тестирования, сведений о языках и точном контексте. Модель распространяется по лицензии Apache-2.0.

Axeron Forge — объединённая модель генерации текста, созданная TuralBayev с помощью инструмента forgelm. В основе лежит Qwen/Qwen2.5-3B; методом Task Arithmetic объединены веса Qwen2.5-Coder-3B-Instruct и Qwen2.5-3B-Instruct с базовой моделью. Это плотная авторегрессионная модель архитектуры Qwen2 с 3,1 млрд параметров, доступная в формате safetensors и рассчитанная на контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций; наличие компонентов Instruct и Coder позволяет использовать её для вопросов и ответов, помощи с кодом и структурированных ответов. Метаданные отмечают интерфейс вызова инструментов, однако карточка не содержит оценок качества или примеров, подтверждающих надёжность этой возможности. Лицензия в предоставленных данных не указана.

Camelidae-8x7B — языковая модель семейства Camelidae, разработанная авторами проекта Parameter-Efficient Sparsity Crafting. Это разреженная MoE-модель для генерации текста и выполнения инструкций общего назначения; при обучении использовались QLoRA, адаптеры и эффективное преобразование плотных моделей в Mixture-of-Experts. В карточке указаны обучающие наборы для инструкций, программирования и математики. Модель содержит 6,6 млрд параметров и имеет контекстное окно 4096 токенов. Она построена на архитектуре LLaMA для причинной генерации текста и доступна в формате PyTorch через Transformers; для загрузки карточка приводит пример с trust_remote_code=True. Метаданные отмечают английский язык. Модель подходит для диалоговых ответов, математических рассуждений и помощи с кодом. README описывает результаты семейства Camelidae на тестах, но приведённая таблица относится к Camelidae-8x34B-pro, поэтому её показатели нельзя переносить на версию 8x7B. Лицензия — Apache-2.0.

DPOpenHermes-7B-v2 — диалоговая языковая модель, разработанная OpenAccess AI Collective на базе OpenHermes-2.5-Mistral-7B. Это плотная модель MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов, дообученная методом Direct Preference Optimization (DPO) с использованием 16-битного LoRA и наборов предпочтений Intel/orca_dpo_pairs и UltraFeedback. Модель предназначена для многоходового общения, следования инструкциям и генерации текста; её формат диалога ChatML поддерживает системные сообщения и совместим с типовым сценарием общения через ChatGPT-подобный API. Карточка приводит результаты AGIEval и BigBench Hard, но не описывает их методику; результаты TruthfulQA не приведены. Модель ориентирована на английский язык. Распространяется по лицензии Apache-2.0; как и другие языковые модели, может выдавать ошибки и неподходящие ответы.

Eurus-7B-SFT — дообученная авторами проекта Eurus языковая модель на базе Mistral-7B для диалогов и решения задач с рассуждением. Модель обучена на корректных действиях из UltraInteract с небольшой долей примеров UltraChat, ShareGPT и OpenOrca. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Она предназначена для генерации текста, включая диалоговые ответы, программирование и математические задачи; для кода и математики в карточке приведены специальные форматы подсказок. Контекст — до 32 768 токенов. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. В README заявлено, что модель превосходит открытые модели сопоставимого размера и в ряде случаев специализированные модели, однако независимые результаты в предоставленных материалах не приведены. Карточка не сообщает о поддерживаемых естественных языках или иных ограничениях.

GK-inv-MoE-0.1 — языковая модель с архитектурой Mixture of Experts на базе Mixtral, созданная автором powermove72 с помощью LazyMergekit. Она объединяет GritLM/GritLM-7B и argilla/notus-7b-v1; эксперты маршрутизируются по типу запроса: один предназначен для диалога, объяснений, рассуждений и математики, другой — для программирования и алгоритмов. Модель рассчитана на генерацию текста в чате, ответы на вопросы и помощь с кодом. Объём модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. В карточке не приведены сведения о языках и оценках качества, поэтому результаты на конкретных языках и задачах могут различаться.

Карточка модели Cdsnutz/K2-Horizon-3.7B-heretic-xortron на Hugging Face совпадает с карточкой darkc0de/K2-Horizon-3.7B-heretic-xortron, поэтому описание составлено по ней. Это версия IFM/K2-Horizon-3.7B с уменьшенным числом отказов, созданная разработчиком darkc0de методом Heretic v1.4.0. В основе — плотная авторегрессионная модель K2-Horizon с 3,7 млрд параметров ядра и контекстом до 524 288 токенов; метаданные указывают 4,1 млрд параметров всего. Модель предназначена для диалоговой генерации текста, включая рассуждения, задачи по коду и агентные сценарии. По сравнению с исходной моделью в приведённом README тесте частота отказов снизилась с 98 до 11 из 100, а расхождение по KL-дивергенции составило 0,0088. Модель доступна в формате Safetensors и использует библиотеку Transformers. README приводит настройки запуска через vLLM и SGLang. Заявлена лицензия Apache-2.0; уменьшение отказов может повлиять на поведение защитных механизмов.

Llama-3.1-Nemotron-lorablated-70B — диалоговая текстовая модель на архитектуре Llama, созданная автором репозитория слиянием NVIDIA Llama-3.1-Nemotron-70B-Instruct-HF и mlabonne/Llama-3-70B-Instruct-abliterated-LORA с помощью mergekit и task arithmetic. Модель содержит 69,5 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы; поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и ответов на инструкции, включая запросы, на которые базовая модель могла отказываться отвечать. В метаданных также заявлен интерфейс вызова инструментов. Карточка приводит результаты оценивания на IFEval и BBH, но не описывает конкретный набор поддерживаемых языков. Модель распространяется по лицензии Llama 3.1; применимость её условий следует проверять для конкретного использования.

Карточка модели mlabonne/Meta-Llama-3-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

MiniCPM5-2B-Base — базовая плотная авторегрессионная языковая модель семейства MiniCPM5, разработанная OpenBMB. Она предназначена для локальных ассистентов, агентных сценариев, работы с инструментами и рассуждений на устройствах с ограниченными ресурсами. Модель содержит около 2,2 млрд параметров; в карточке указана архитектура LlamaForCausalLM с 42 слоями и поддержка длинного контекста. README указывает контекст 131 072 токена, тогда как метаданные каталога сообщают 524 288 токенов. Модель работает с текстом и ориентирована на английский и китайский языки. Среди заявленных сильных сторон — код, математика, понимание длинного контекста, использование инструментов и агентные задачи; это характеристики, заявленные разработчиком, а не независимая оценка. Для фактических результатов важны вычислительные ресурсы, среда запуска и проверка ответов: генерация может быть неточной, предвзятой или оскорбительной и уязвима к специально составленным запросам. Лицензия — Apache-2.0.

OpenHermes-2.5-Mistral-7B-x2 — объединённая модель на архитектуре Mistral, созданная IsakNordgren с помощью LazyMergekit на основе teknium/OpenHermes-2.5-Mistral-7B. В README указан метод слияния dare_ties с параметрами density 0,53 и weight 0,6; каталог характеризует базовую модель как дообученную на инструкциях и диалогах. Модель содержит 7,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового общения; её можно применять для ответов на вопросы, составления текстов и помощи с кодом. Данные карточки не описывают отдельные языки, поэтому нельзя определить, на каких языках она рассчитана в первую очередь. Условия лицензии в предоставленных данных не приведены.

OpenHermes 2 Mistral 7B — разговорная языковая модель, созданная Teknium на основе Mistral-7B-v0.1. Она дообучена на наборе примерно из 900 тысяч примеров, преимущественно сгенерированных GPT-4 и собранных из открытых датасетов; данные преобразованы в формат ShareGPT, а затем в ChatML. Модель предназначена для многоходового диалога и следования инструкциям, включая ответы на вопросы, помощь с программированием и создание рецептов. Она использует плотную архитектуру Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Карточка указывает английский язык; ChatML-шаблон подходит для диалогов с системными инструкциями. Модель распространяется по лицензии Apache-2.0. Заявления карточки о сравнительных результатах приводятся без числовых данных, поэтому их нельзя считать независимой оценкой качества; ответы могут быть неточными, как у других генеративных языковых моделей.

Open-Instruct Human-mix 65B — языковая модель AllenAI на архитектуре LLaMA с 65 млрд параметров, дообученная на смеси созданных людьми наборов инструкций FLAN V2, CoT, Dolly и OpenAssistant 1. Она предназначена для генерации ответов на инструкции и запросы, включая задачи общего знания, рассуждения, математики и программирования. Модель принимает текст и генерирует текст. Для работы требуется исходная модель LLaMA в формате Hugging Face и применение diff-весов; рекомендуемый формат запросов описан в карточке модели. Контекст составляет 2048 токенов. В метаданных указан английский язык. Карточка приводит результаты оценки на MMLU, GSM, BBH, TyDiQA, Codex-Eval и AlpacaFarm. Использование регулируется лицензией AI-модели из репозитория и исходной лицензией LLaMA; перед применением необходимо учитывать условия обеих лицензий.

Ornith-1.0-35B-GGUF-llamacpp-tp1 — это GGUF-версия языковой модели Ornith-1.0-35B, разработанной deepreinforce-ai, подготовленная для запуска через llama.cpp на одной GPU. Модель предназначена для генерации текста и кода, а также для сценариев локального сервинга с различными требованиями к скорости, объёму памяти и точности. В комплект входят варианты квантования Q3_K_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также вариант IQ4_XS-MTP с интегрированной головой multi-token prediction для ускорения спекулятивной генерации при низкой конкуренции. Размер исходной модели составляет 35B параметров. Доступны артефакты объёмом примерно от 15,61 до 34,37 GiB на диске, с требованиями к загруженной VRAM примерно от 17,27 до 34,77 GiB в зависимости от квантования. Вариант Q4_K_M позиционируется как сбалансированный по скорости и памяти, Q6_K и Q8_0 обеспечивают наиболее высокую точность, а Q3_K_M предназначен для минимального потребления памяти. Для MTP-варианта заявлено ускорение однопоточной генерации примерно в 1,3 раза; при этом длинные детерминированные последовательности не являются побитно идентичными режиму без MTP. Сильными сторонами являются широкий выбор квантований, высокая скорость инференса через llama.cpp и возможность локального запуска на одной GPU. Ограничениями выступают требование режима tp=1, отсутствие поддержки multi-GPU tensor parallel serving в этой версии и неизбежная потеря точности у более компактных квантований. Лицензия — MIT.

bartowski/Phi-3.1-mini-4k-instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Phi-3.1-mini-4k-instruct, основанной на модели Microsoft Phi-3-mini-4k-instruct. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев, ответов на вопросы и задач, связанных с обработкой естественного языка и программного кода. Модель работает в текстовой модальности и ориентирована на английский язык. Из идентификатора и описания следует контекстное окно 4K токенов, однако точные сведения об архитектуре и количестве параметров в README не приведены. Доступны варианты от F32 до низкоразрядных Q2 и IQ-квантизаций с размером файлов примерно от 1,3 до 15,3 ГБ. Старшие варианты сохраняют более высокое качество, а младшие требуют меньше оперативной памяти, но заметно уступают в качестве и могут быть непредсказуемее. Модель подходит для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. README рекомендует варианты Q4–Q6 как компромисс между качеством и требованиями к ресурсам; конкретный выбор зависит от доступной памяти и допустимой потери качества. Это текстовая модель без заявленной поддержки изображений или других модальностей, а ограниченное окно контекста не рассчитано на обработку очень длинных документов. Указана лицензия MIT.

bartowski/Phi-3-mini-4k-instruct-GGUF — набор GGUF-квантизированных версий Phi-3-mini-4k-instruct, исходно разработанной Microsoft. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи обработки естественного языка и программирования. В README указана поддержка английского языка и контекстное окно на 4K токенов; модальность — текстовая. Ключевая особенность репозитория — квантизация с использованием llama.cpp и метода imatrix. Доступны варианты от Q8_0 до очень компактных IQ1_S, что позволяет выбирать между качеством и требованиями к памяти. Наиболее высокое качество дают Q8_0 и Q6_K, а Q4- и Q3-варианты ориентированы на более экономичное локальное использование; варианты с низкой разрядностью заметно уступают по качеству, хотя некоторые из них остаются пригодными для практических задач. Модель удобна для локального запуска через совместимую инфраструктуру llama.cpp, однако конкретные требования к памяти и производительность зависят от выбранного варианта квантизации. README не содержит подробностей об архитектуре и точном числе параметров исходной модели. Распространение указано по лицензии MIT.