II.1Анализ требований и архитектура ПО

MiniMax-M2.7-GGUF — это GGUF-квантизация модели MiniMax-M2.7, разработанной MiniMaxAI и подготовленной пользователем dennny123 на основе исходных BF16-весов. Модель предназначена для генерации текста, диалоговых сценариев, программирования и агентских рабочих процессов. Она может запускаться через llama.cpp, LM Studio или Ollama. Модель использует архитектуру Mixture-of-Experts с 229 млрд параметров, из которых около 10 млрд активны для каждого токена. Доступны варианты от BF16 до Q2_K; размеры файлов составляют примерно от 83 до 427 ГБ. В метаданных указан английский язык, однако сведения о размере контекста и дополнительных модальностях отсутствуют. Квантизации Q6_K и Q5_K_M заявлены как обеспечивающие высокое качество, а Q4_K_M — как компромиссный вариант для большинства сценариев. Сильные стороны модели — специализация на кодировании и агентских задачах, высокая заявленная производительность в SWE-Pro, VIBE-Pro, Terminal Bench 2, GDPval-AA и MLE Bench Lite, а также возможность локального запуска в экосистеме GGUF. Основные ограничения — чрезвычайно высокие требования к памяти: несмотря на активацию лишь части параметров, при инференсе необходимо загрузить весь набор из 229 млрд параметров. Более агрессивная квантизация уменьшает требования к ресурсам, но может снижать качество. Лицензия указана как modified-MIT; подробные условия следует уточнять в официальной лицензии MiniMaxAI.

Minitron-8B-Base — базовая большая языковая модель NVIDIA, созданная из Nemotron-4 15B. Модель с архитектурой Transformer Decoder и классом NemotronForCausalLM содержит 8,7 млрд параметров; в ней применяются Grouped-Query Attention и Rotary Position Embeddings. Контекст составляет 4096 токенов, вход и выход — текст. Модель предназначена для генерации текста и исследований и разработок на её основе: она обучалась на английских и многоязычных текстах, включая код, диалоги, статьи и веб-страницы. Корпус охватывает математику, науку, финансы и право; в продолженное обучение также включили небольшую долю данных вопросно-ответного формата и для выравнивания. NVIDIA сообщает о дистилляции после структурного прореживания Nemotron-4 15B с использованием 94 млрд токенов; в README приведены результаты оценок на MMLU, HellaSwag, Winogrande, GSM8K, ARC-C, XLSum и HumanEval. Модель может генерировать неточные, неполные, нерелевантные или повторяющиеся ответы, а также воспроизводить токсичный язык и социальные предубеждения из обучающих данных. Данные предварительного обучения имеют срез по июнь 2023 года. Лицензия указана как other; точные условия следует сверить с файлами репозитория и условиями NVIDIA. Карточка обозначает модель как предназначенную для исследований и разработки.

Это диалоговая языковая модель семейства Mistral, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и lvkaokao/mistral-7b-finetuned-orca-dpo-v2 методом SLERP с помощью MergeKit. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и рассчитана на генерацию текста и ответы на инструкции в формате диалога. Максимальная длина контекста — 32 768 токенов. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по запросу. Репозиторий содержит веса в формате safetensors; заявленная лицензия — Apache-2.0. Данные карточки не уточняют качество на отдельных задачах и языках, поэтому пригодность для конкретного сценария следует оценивать самостоятельно.

Eric111/Mistral-7B-Instruct-v0.2_openchat-3.5-0106 — диалоговая языковая модель, созданная слиянием Mistral AI и OpenChat с помощью mergekit. В слиянии использован метод SLERP; базовая модель — Mistral-7B-Instruct-v0.2, а веса сохранены в формате bfloat16. Модель предназначена для генерации текста в диалоге и ответов на инструкции. Она содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст до 32 768 токенов. Лицензия — Apache-2.0.

Это объединённая модель MaziyarPanahi, созданная методом SLERP на основе Mistral-7B-Instruct-v0.2 и Mistral-7B-v0.1-sharded. Она предназначена для генерации текста в диалогах и выполнения инструкций. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; длина контекста — до 32 768 токенов. Весы опубликованы в формате Safetensors. Модель принимает текст и выдаёт текст. Метаданные не определяют конкретные языки, поэтому их нельзя указать. Репозиторий распространяется по лицензии Apache-2.0. README описывает состав и параметры слияния, но не приводит сравнительных оценок качества или подробных ограничений применения.

Это GGUF-квантизированная версия языковой модели Magistral-Small-2506, разработанной Mistral AI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Карточка указывает поддержку английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Доступны варианты от BF16 до различных уровней квантизации, с размером файлов примерно от 10,65 до 47,15 ГБ. Для запуска предусмотрен специальный формат промпта с системной инструкцией и пользовательским запросом. Архитектура, число параметров, размер контекстного окна и мультимодальные возможности в README не указаны. Основное преимущество набора — возможность выбрать компромисс между качеством и требованиями к памяти: варианты Q5 и Q6 заявлены как высококачественные, а Q4 подходят для большинства сценариев и экономят ресурсы. Более компактные варианты позволяют работать при ограниченном объёме оперативной памяти, но могут заметно уступать по качеству. Модель предназначена для текстовых задач; поддержка изображений или других модальностей не заявлена. Распространяется по лицензии Apache-2.0.

Mistral-Crab-DPO — языковая модель для генерации текста, разработанная Юньцзя Ци, Хао Пэном, Сяочжи Ваном, Бинь Сюем, Лэй Хоу и Цзюаньцзы Ли. Она дообучена на базе Mistral-7B-v0.3 методом DPO и предназначена для выполнения сложных инструкций с ограничениями по формату, длине и другим условиям. Обучение использует набор CRAB, созданный методом обратного преобразования ограничений: к качественным парам «инструкция — ответ» добавлялись ограничения, которым уже соответствовали ответы. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Основной язык — английский. Карточка сообщает об улучшении следования сложным инструкциям и приводит оценку на соответствующих бенчмарках, но не раскрывает здесь полные результаты для этой версии модели. Лицензия — Apache-2.0.

Kaoeiri/Mistral-magnum-v4_X_Cydonia-VXXX_Mixture-C — объединённая модель генерации текста, созданная автором репозитория с помощью mergekit и метода SLERP. В объединение вошли anthracite-org/magnum-v4-22b и Kaoeiri/Mistral-magnum-v4_X_Cydonia-VXXX_Mixture-B; базовой моделью в конфигурации указана anthracite-org/magnum-v4-22b. Модель имеет плотную архитектуру MistralForCausalLM, содержит 22 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста и доступна через Transformers. Базовая модель ориентирована на диалоги, следование инструкциям и связную прозу на английском языке; репозиторий также помечен как conversational и указывает интерфейс для вызова инструментов. Используются веса safetensors в формате bfloat16. Лицензия в предоставленных данных не указана.

Mistral-Small-24B-Instruct-2501-GGUF — это набор квантизованных версий инструкционной языковой модели Mistral-Small-24B-Instruct-2501, подготовленный пользователем bartowski в формате GGUF для llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio и другие совместимые проекты. Исходная модель имеет размер 24 млрд параметров; в README не указаны подробности её архитектуры и длина контекста. Доступны варианты с точностью от f32 и f16 до различных методов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 11 до 94 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Модель является текстовой и не поддерживает мультимодальный ввод по приведённым данным. Сильная сторона набора — широкий выбор квантизаций для локального запуска на оборудовании с разным объёмом памяти; варианты Q5 и выше позиционируются как высококачественные, а Q4 — как подходящие для большинства сценариев. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству. Для работы необходим совместимый рантайм, например llama.cpp или LM Studio, и ресурсы, соответствующие размеру выбранного файла. Лицензия — Apache 2.0.

Это набор файлов GGUF с весами модели Meta-Llama-3.1-70B-Instruct в варианте BF16, опубликованный featherless-ai-quants на основе mlx-community/Meta-Llama-3.1-70B-Instruct-bf16-CORRECTED. Модель семейства Llama 3.1 с 70 млрд параметров предназначена для генерации текста в диалоговом режиме; карточка указывает несколько вариантов квантования, включая IQ4_XS, Q2_K и Q3_K_L. Модель можно использовать для ответов на вопросы, диалогов и генерации текста. В карточке не приведены сведения о контекстном окне, поддерживаемых языках и лицензии, поэтому эти характеристики здесь не уточняются. Качество и требования к памяти зависят от выбранного варианта квантования; это крупная модель, для запуска которой нужны значительные вычислительные ресурсы.

Sakalti/model-3-decem — языковая модель для генерации текста и диалогов, созданная слиянием моделей методом TIES с помощью mergekit. В качестве базовой модели указана Sakalti/model-3; в слиянии также участвовала qfq/Qwen2.5-7B-Instruct-20241204-114939. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и принимает текст, выдавая текст. Для работы с весами используется формат safetensors; заявленная длина контекста — 131 072 токена. Модель предназначена для диалоговых сценариев и генерации ответов, а метаданные также отмечают интерфейс вызова инструментов. В карточке не приведены сведения о языках обучения или качествах модели. Лицензия в предоставленных данных не указана.

Monarch-7B — языковая модель mlabonne, полученная слиянием моделей OmniTruthyBeagle-7B-v0, NeuBeagle-7B и NeuralOmniBeagle-7B с помощью LazyMergekit. В конфигурации также указан Mistral-7B-v0.1 как базовая модель; слияние выполнено методом dare_ties. Модель построена на архитектуре Mistral с плотной структурой и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и решения широкого круга языковых задач. В карточке приведены оценки на наборах Nous и Open LLM Leaderboard; заявлено первое место на YALL leaderboard на дату обновления 13 февраля 2024 года. Контекстное окно составляет 32 768 токенов. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое использование בלבד.

MS-Nudion-22B — слитая модель для генерации текста на базе архитектуры Mistral, созданная с помощью mergekit методом SLERP из knifeayumu/Cydonia-v1.3-Magnum-v4-22B и SteelSkull/MSM-MS-Cydrion-22B. Модель содержит 22 млрд параметров, использует формат safetensors и поддерживает контекст до 131072 токенов. Модель предназначена для диалогов и генерации связного текста; каталог также отмечает интерфейс вызова инструментов. В конфигурации слияния указан профиль смешивания, ориентированный на поведение Hermes на входе и выходе и WizardMath в средних слоях. Карточка не описывает отдельные гарантии качества или целевые предметные области. Лицензия в предоставленных данных не указана. Для использования следует учитывать, что это объединение двух моделей; ограничения и условия могут зависеть от их лицензий и свойств.

Fizzarolli/Nemo_Pony_2-merged — объединённая языковая модель, созданная методом passthrough с помощью mergekit. В состав объединения входят mistralai/Mistral-Nemo-Instruct-2407 и Ada321/Nemo_Pony_2; в конфигурации также указан путь к LoRA-адаптеру. Модель построена на архитектуре MistralForCausalLM, содержит 12,1 млрд параметров и распространяется в формате safetensors с библиотекой Transformers. Модель предназначена для генерации текста и диалоговых сценариев. Каталог также отмечает интерфейс вызова инструментов. Базовая Mistral Nemo — многоязычная инструктивная модель для диалога, следования инструкциям и вызова инструментов; карточка этой модели отдельно не уточняет поддерживаемые языки, длину контекста, лицензию или результаты оценки качества.

Nemotron-3.5-Lightning-30B-A3B-Uncensored-xCloud-GGUF — языковая модель, разработанная xCloudinfo на основе NVIDIA Nemotron-3.5-Lightning-30B-A3B-BF16. Она предназначена для генерации текста и локального запуска через llama.cpp в сценариях разработки, исследований и технической валидации. Модель ориентирована на английский и китайский языки. Это гибридная архитектура Mamba-2, Mixture of Experts и Attention: общий объём составляет 30 млрд параметров, около 3 млрд активируются при обработке запроса. Поддерживаются Multi-Token Prediction и контекст до 1 млн токенов. Модель не переобучалась: из отдельных матриц Attention и MoE была удалена направленность, связанная с чрезмерными отказами, методом directional ablation с интенсивностью 0,8. Компоненты Mamba и MTP draft head сохранены. Доступны GGUF-квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ2_M; рекомендуемый вариант для развёртывания — Q4_K_M, размером около 24 ГБ. Сильной стороной модели являются гибридная архитектура, высокая вычислительная эффективность за счёт MoE и варианты квантизации для локального использования. Ограничение — отсутствие исходного безопасного поведения отказа: модель может напрямую отвечать на чувствительные и двояко применимые запросы, поэтому ответственность за законность и этичность использования лежит на пользователе. Для корректного reasoning требуется достаточный лимит токенов, а при работе рекомендуется явно указывать текущую дату в системном запросе. Модель распространяется по лицензии OpenMDW-1.1, унаследованной от базовой модели. Коммерческое использование разрешено; при распространении необходимо сохранять текст лицензии и уведомления об авторских правах. xCloudinfo не несёт ответственности за выводы модели и их дальнейшее использование.

Nous-Hermes-2-Mixtral-8x7B-SFT-GGUF — это квантизированная GGUF-версия языковой модели Nous-Hermes-2-Mixtral-8x7B-SFT, разработанной NousResearch и подготовленной квантизацией компанией Second State Inc. Модель предназначена для диалоговых и инструкционных сценариев, включая генерацию текста и работу в чат-приложениях на базе LlamaEdge. Модель основана на архитектуре Mixtral и использует формат промптов ChatML. В README указан английский язык, контекстное окно составляет 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0 размером от 17,3 до 49,6 ГБ. Q4_K_M рекомендуется как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более сильная квантизация уменьшает размер, но может заметно ухудшать качество; точные сведения о числе параметров, поддерживаемых модальностях и дополнительных языках не указаны. Для запуска требуется LlamaEdge версии 0.2.8 или новее; предусмотрены режимы сервиса и командного чат-приложения. Модель распространяется по лицензии Apache-2.0.

AceReason-Nemotron-14B-GGUF — это квантизированная версия языковой модели AceReason-Nemotron-14B, разработанной NVIDIA. Сборка подготовлена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, решения математических задач, рассуждений и программирования; поддерживает английский язык и запускается через llama.cpp, LM Studio и другие совместимые проекты. Размер исходной модели составляет 14 млрд параметров. В репозитории доступны варианты от BF16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми названы варианты Q6_K, Q6_K_L, Q5 и Q4_K_M; для устройств с ограниченной памятью доступны более компактные варианты, но с более низким качеством. Архитектура, максимальная длина контекста и другие подробные характеристики в README не указаны. Модель удобна для локального запуска и ресурсоэффективного вывода, однако качество зависит от выбранного уровня квантования, а низкобитные варианты могут заметно уступать более крупным по точности. Для корректной работы следует использовать указанный формат prompt. Модель распространяется по NVIDIA Open Model License; конкретные условия необходимо уточнять в тексте лицензии NVIDIA.

NVIDIA Nemotron 3.5 Lightning 30B-A3B W4A16 — это посттренировочная квантизированная версия модели NVIDIA Nemotron 3.5 Lightning 30B-A3B, подготовленная и упакованная проектом useful-quants. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы и высокопроизводительное развёртывание на NVIDIA GPU с использованием vLLM. Архитектура сочетает Mamba-2, Mixture-of-Experts и attention; общий размер составляет 30B параметров, из которых активно используется около 3B. Применяется квантизация W4A16 с размером группы 64, веса занимают около 16,60 GiB. Заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков. Архитектурное ограничение контекста — до 1 млн токенов; на одной NVIDIA RTX 3090 объём 640K токенов рекомендован для эксплуатации, а 744K проверен как предельный тестовый вариант. Сильные стороны модели — сравнительно небольшие требования к памяти, высокая пропускная способность и возможность работы с очень длинным контекстом на одной 24-гигабайтной видеокарте. Артефакт проверен с vLLM и compressed-tensors; прямой запуск через Transformers в исходных материалах не документирован. Показатели на отдельных тестах включают нормированную точность 0,87 на PIQA, 0,678 на HellaSwag и строгую instruction-level оценку 0,813 на IFEval, однако результаты зависят от конфигурации и не описывают все возможности модели. Модель распространяется по лицензии OpenMDW 1.1. NVIDIA является разработчиком исходной модели, а useful-quants выполнил квантизацию; он не обучал, не дообучал и не выравнивал модель. Условия предполагаемого использования, безопасности и полное описание исходной модели определяются лицензией и карточкой базовой версии NVIDIA.

Это 8-битная версия модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленная командой LM Studio Community с помощью mlx_lm для Apple Silicon. В основе лежит NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 от NVIDIA; MLX-квантизация уменьшает точность весов для запуска на компьютерах Apple с кремниевыми чипами. По метаданным, модель предназначена для генерации текста и диалогов и поддерживает интерфейс вызова инструментов. Модель подходит для ответов на вопросы, помощи с программированием и математическими задачами, а также для агентных приложений, использующих инструменты. Карточка базовой модели указывает поддержку английского, испанского, французского, немецкого, японского и итальянского языков. Лицензия репозитория обозначена как other, поэтому перед использованием следует проверить её условия. Как и другие генеративные модели, она может выдавать неточные или неподходящие ответы; README также предупреждает об отсутствии гарантий качества.

Это конвертированная в формат MLX версия языковой модели NVIDIA Nemotron 3 Nano 30B A3B, опубликованная mlx-community. Исходная модель — nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; README указывает, что преобразование выполнено с помощью mlx-lm 0.29.1. Метаданные описывают модель как диалоговую и указывают поддержку английского, испанского, французского, немецкого, японского и итальянского языков. Модель предназначена для генерации текста в диалоге и может использоваться для ответов на вопросы, написания текстов и программного кода. Репозиторий рассчитан на запуск с библиотекой MLX. В README не приведены дополнительные сведения о размере активной части MoE, длине контекста или оценках качества; базовая модель описана в каталоге как гибридная языковая модель для рассуждений, программирования и агентных приложений. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией исходной модели.

NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-NVFP4 — разработанная NVIDIA эластичная языковая модель для генерации текста и диалогов. Один NVFP4-чекпойнт содержит вложенные варианты на 30B, 23B и 12B параметров; меньшие варианты можно извлечь из него без отдельного дообучения. Архитектура основана на гибридной комбинации Mamba-2, Transformer и MoE. Для вариантов 30B, 23B и 12B указано соответственно 3,6B, 2,8B и 2,0B активных параметров на токен. Модель предназначена для рассуждений и диалоговых сценариев с возможностью выбирать баланс качества и скорости инференса в зависимости от размера варианта. README сообщает о поддержке английского, немецкого, испанского, французского, итальянского и японского языков. Метаданные указывают контекст 262 144 токена; в README также описана возможность настройки более длинного контекста в vLLM. Модель представлена в формате safetensors и рассчитана на использование через Transformers и vLLM. Это квантованная NVFP4-версия эластичной модели, полученной постобучением NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 с помощью Elastic framework; при квантовании применялась дистилляция с BF16-моделью в качестве учителя. README заявляет готовность к коммерческому применению, однако метаданные обозначают лицензию как other и не раскрывают её условия, поэтому перед использованием следует проверить лицензионные документы репозитория.

Occamy-35B — модель с открытыми весами, разработанная командой Occamy AI. Она дообучена на базе Qwen3.6-35B-A3B и предназначена для агентных сценариев: принятия решений на длинном горизонте, координации нескольких инструментов, многошаговых бизнес-процессов, Claw-style рабочих процессов, агентного программирования и задач электронной коммерции. Модель относится к семейству text-generation и ориентирована на английский язык. Заявлены поддержка tool use, coding и long-context; для развёртывания рекомендуется контекст до 262 144 токенов, а в тестах SWE-bench Pro использовался контекст 200K. В README не указаны точные сведения о внутренней архитектуре, числе активных параметров, количестве параметров всего и перечне поддерживаемых модальностей, поэтому модель следует рассматривать как текстовую. Ключевая особенность — методика Data RSI (Data Recursive Self-Improvement), при которой результаты выполнения динамически сформированных задач используются для последующей адаптации данных. По представленным оценкам, Occamy-35B особенно сильна в агентных задачах, многоходовом использовании инструментов и программировании, хотя в отдельных бенчмарках уступает более крупным моделям. Для промышленного использования рекомендуются SGLang или vLLM с OpenAI-совместимым API. Лицензия в README не указана.

Occiglot-7B-DE-EN-Instruct — генеративная языковая модель с открытыми весами, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер Mistral с 7,1 млрд параметров, настроенный на выполнение инструкций на английском и немецком языках. Модель также обучалась на инструкциях, связанных с кодом. Модель подходит для диалогов, ответов на инструкции и генерации текста на английском и немецком языках. Она обучена в формате ChatML, а её контекстное окно составляет 32 768 токенов. Это первая версия исследовательского проекта Occiglot; авторы отмечают, что результаты оценки предварительные, а часть неанглоязычных тестов основана на машинном переводе. Модель не проходила выравнивание по безопасности и может выдавать проблемные ответы. Для использования предоставлены веса в формате safetensors; лицензия — Apache 2.0.

Occiglot-7B-FR-EN-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер MistralForCausalLM с 7,1 млрд параметров, дообученный на 160 млн токенов многоязычных и программных инструкций. Модель настроена для диалогового взаимодействия по шаблону ChatML и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и выполнения инструкций на французском и английском языках, включая задачи с кодом. Обучающие данные были поровну распределены между французским и английским; в README приведены предварительные результаты оценивания, причём результаты для французского следует трактовать осторожно из-за частично машинного перевода тестов и англоязычных запросов. Это ранний выпуск исследовательского проекта. Модель не проходила выравнивание по безопасности и может выдавать проблематичные ответы. Лицензия — Apache 2.0.

OpenAgent-i1-GGUF — это набор GGUF-квантизованных вариантов модели OpenAgent, созданной на базе OrionLLM/Terminus-Qwen3-8b и обученной с использованием датасета OrionLLM/OpenAgentInstruct. Квантизацию выполнил mradermacher; в метаданных также указана компания nethype GmbH как предоставившая инфраструктуру для этой работы. Модель ориентирована на текстовую генерацию, агентские сценарии, рассуждения, работу с терминалом и задачи, связанные с разработкой программного обеспечения, включая SWE-bench. Поддерживаемый язык — английский. Это текстовая модель примерно на 8 миллиардов параметров, представленная в формате GGUF и доступная в вариантах квантизации от IQ1_S до Q6_K. Размер файлов составляет примерно от 2,2 до 6,8 ГБ; README рекомендует Q4_K_M как быстрый вариант и Q4_K_S как компромисс между размером, скоростью и качеством. Более агрессивная квантизация уменьшает требования к памяти, но может заметно снижать качество, а IQ-форматы иногда предпочтительнее аналогичных по размеру вариантов. Модель предназначена для локального запуска в совместимом ПО, однако конкретные требования к контексту, поддерживаемые модальности помимо текста, производительность и результаты бенчмарков в README не указаны. Распространяется по лицензии Apache-2.0.

OpenBuddy — это мультиязычная чат-модель, разработанная проектом OpenBuddy на базе семейства Meta LLaMA. В репозитории представлена плотная авторегрессионная архитектура LlamaForCausalLM размером 12,9 млрд параметров, с контекстом до 65 536 токенов; веса сохранены в формате Safetensors. Модель предназначена для диалогов и генерации текста на китайском, английском, французском, немецком, японском, корейском, итальянском, русском и финском языках. Модель подходит для чат-ботов, ответов на вопросы и генерации текста с длинным контекстом. Она может выдавать ошибочные, вредные или оскорбительные ответы, поэтому не подходит для критически важных решений, медицинских рекомендаций и управления системами, где ошибка может причинить ущерб. Использование регулируется лицензией Llama 2: требуется соблюдать условия Meta и иметь право на доступ к исходной модели; модель предоставляется без гарантий.

Карточка модели mt1234/PATHFINDER-32B на Hugging Face совпадает с карточкой mt1234/PATHFINDER-120STEPS, поэтому описание составлено по ней. PATHFINDER-120STEPS — дообученная модель mt1234 на базе unsloth/qwen2.5-coder-32b-instruct-bnb-4bit. Это плотная языковая модель семейства Qwen2 с 32 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. В метаданных заявлен интерфейс вызова инструментов. Модель принимает текст и выдаёт текст; её контекстное окно составляет 32 768 токенов. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки TRL. Модель распространяется по лицензии Apache-2.0.

Это конверсия Phi-3 Medium-128K-Instruct от Microsoft в формат ONNX, оптимизированная для инференса на CPU через ONNX Runtime. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 примерно с 13,8 млрд параметров, настроенную следовать инструкциям и вести диалог. Лицензия — MIT. Модель предназначена для генерации ответов и текста, включая задачи рассуждения, понимания языка, математики и кода. README описывает вариант семейства с контекстом до 128 тысяч токенов, однако метаданные указывают native context в 4096 токенов, поэтому доступную длину контекста следует сверять с конкретной конфигурацией ONNX. Репозиторий содержит CPU-вариант с квантизацией INT4 методом RTN; для запуска рекомендуется компьютер с 16 ГБ оперативной памяти. README сообщает скорость около 20 токенов в секунду на Intel Core i9-10920X, но производительность зависит от оборудования и настроек.

recursal/RADRWKV7Qwen2.5-7B — модель генерации текста на 7,1 млрд параметров, полученная преобразованием Qwen2.5-7B с помощью метода RADLADS. Она использует линейное внимание и архитектуру RWKV7Qwen2 и предназначена для диалогов и генерации текста; также заявлен интерфейс вызова инструментов. По README, преобразование требует 350–700 млн токенов дистилляции, сохраняет качество, близкое к исходной модели, и ускоряет генерацию благодаря постоянным затратам на токен. Модель принимает текст, выдаёт текст и поддерживает контекст длиной 32 768 токенов. Репозиторий использует safetensors и библиотеку Transformers; для загрузки требуется trust_remote_code=True. Лицензия — Apache-2.0.

Qwen1.5-110B-Chat-GGUF — это квантизированная GGUF-версия диалоговой языковой модели Qwen1.5-110B-Chat, разработанной командой Qwen при Alibaba Cloud; конкретные файлы квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск совместимых чат-приложений и сценарии, где требуется крупная языковая модель с различным балансом между качеством и потреблением памяти. Модель содержит 110 млрд параметров и работает в текстовой модальности. В метаданных указано английское языковое направление, однако сведения о полном наборе поддерживаемых языков, архитектуре, максимальном контексте и результатах специализированных тестов в README отсутствуют. Доступны варианты квантизации от Q8_0 до IQ1_S с размером файлов примерно от 118,17 до 23,63 ГБ: более высокие разрядности обычно обеспечивают лучшее качество, а низкие позволяют запускать модель при меньшем объёме RAM или VRAM, но заметно снижают качество. Сильной стороной является выбор из множества вариантов квантизации, включая рекомендуемые Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS, что позволяет адаптировать модель к доступному оборудованию. Ограничения связаны с очень большим размером даже у компактных вариантов и с неизбежной потерей качества при агрессивной квантизации; варианты IQ1 и некоторые Q2/Q3 имеют низкое или крайне низкое качество. Для работы следует использовать формат GGUF и соответствующий шаблон чата с маркерами system, user и assistant. Лицензия указана как tongyi-qianwen; подробные условия доступны по ссылке на лицензию исходной модели.