II.2Создание и понимание программного кода

Falcon3-10B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Falcon3-10B-Instruct, разработанной Technology Innovation Institute (TII) и опубликованной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и другие задачи обработки естественного языка. Она рассчитана на запуск через llama.cpp и совместимые приложения, например LM Studio, с использованием формата чата <|system|>, <|user|>, <|assistant|>. Модель содержит 10 млрд параметров и работает только с текстом. В репозитории доступны варианты от исходных весов F16 размером 20,62 ГБ до квантизаций Q4 и Q5 размером примерно 5,9–7,6 ГБ, а также Q6 и Q8. Квантизации позволяют снизить требования к памяти и запускать модель локально, при этом более сильное сжатие может ухудшать качество. Для вариантов Q4–Q6 заявлено хорошее или очень высокое сохранение качества; наиболее сбалансированным вариантом для большинства сценариев указан Q4_K_M. В опубликованных оценках базовая модель получила 78,17% строгой точности на IFEval, 44,82% на BBH, 25,91% exact match на MATH Level 5 и 38,1% на MMLU-Pro; результаты на GPQA и MuSR составили 10,51% и 13,61% соответственно. Эти показатели характеризуют отдельные тестовые сценарии и не гарантируют качество для конкретных прикладных задач. Языки поддержки и размер контекста в README не указаны. Модель распространяется по лицензии Falcon LLM License; перед использованием необходимо ознакомиться с условиями лицензии TII.

FrankenQwen2.5-14B — объединённая языковая модель, созданная автором synergetic с помощью mergekit и метода passthrough. В состав слияния вошла дообученная модель rombodawg/Rombos-LLM-V2.6-Qwen-14b; архитектура — плотная Qwen2ForCausalLM, объём — 16,2 млрд параметров. Репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и имеет интерфейс для вызова инструментов. В README приведены результаты оценки Open LLM Leaderboard, включая средний балл 18,13, IFEval и BBH. Карточка не описывает дополнительные специализированные сценарии или языковое покрытие, поэтому качество для конкретных языков и задач следует проверять отдельно. Лицензия в предоставленных данных не указана.

mlx-community/granite-3.3-2b-instruct-fp16 — конверсия модели IBM Granite 3.3 2B Instruct в формат MLX для запуска на системах Apple Silicon. Это плотная авторегрессионная языковая модель с 2,5 млрд параметров и контекстом до 131 072 токенов. Она предназначена для диалога, следования инструкциям, генерации текста и вызова инструментов через соответствующий интерфейс. Модель подходит для чат-ассистентов, ответов на вопросы и работы с длинными текстовыми запросами. Репозиторий опубликован mlx-community; исходная модель — ibm-granite/granite-3.3-2b-instruct. Лицензия — Apache-2.0. README указывает на конверсию с помощью mlx-lm 0.22.5; метаданные классифицируют связь с исходной моделью как finetune.

1024m/H-Mistral-Nemo-00-fp16 — диалоговая языковая модель, разработанная 1024m на основе unsloth/Mistral-Nemo-Instruct-2407. Модель дообучена с помощью Unsloth и библиотеки TRL и предназначена для генерации текста в диалоговом формате, включая сценарии с интерфейсом вызова инструментов. Модель использует плотную архитектуру MistralForCausalLM и содержит 12,1 млрд параметров. Длина контекста составляет 131 072 токена. Карточка указывает английский язык; репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Доступные сведения не описывают специализацию дообучения или сравнительные результаты, поэтому пригодность для конкретных предметных областей не установлена.

RedHatAI/Kimi-K3-FP8-BLOCK — квантованная версия мультимодальной модели moonshotai/Kimi-K3, разработанная RedHatAI. Модель построена на архитектуре KimiK3ForConditionalGeneration, принимает текст и изображения, а генерирует текст. Она предназначена для conversational-сценариев и инференса с использованием vLLM; подробные возможности базовой модели в этой карточке не раскрыты. В модели применена FP8-квантизация весов и активаций линейных операторов внутри трансформерных блоков. Для весов используется блочное масштабирование, для активаций — динамическое групповое масштабирование. Квантизация выполнена методом model-free post-training quantization без калибровочных данных с помощью LLM Compressor; при этом слои эмбеддингов, attention, vision tower, mm_projector и некоторые другие компоненты не квантуются. Модель готова к распределённому запуску в vLLM и поддерживает автоматический выбор инструментов и разбор рассуждений через соответствующие параметры сервера. Размер модели, длина контекста и поддерживаемые языки в README не указаны. Веса и код распространяются по лицензии Kimi K3 License.

Карточка модели developer2625/livro-7b-v1 на Hugging Face совпадает с карточкой developer2625/livron-7b-v1, поэтому описание составлено по ней. Livron 7B v1 — дообученная разработчиком developer2625 языковая модель на архитектуре Qwen2.5, предназначенная для генерации текста и диалогового общения. Она основана на unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit и содержит 7,1 млрд параметров; модель обучали с использованием Unsloth и библиотеки Hugging Face TRL. Поддерживает контекст до 32 768 токенов и интерфейс вызова инструментов. Модель подходит для диалоговых помощников, генерации и продолжения текста, а также сценариев, где требуется взаимодействие с инструментами. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

vhab10/Llama-3.1-8B-Base-Instruct-SLERP — языковая модель, созданная с помощью mergekit объединением Meta Llama 3.1 8B Base и Meta Llama 3.1 8B Instruct методом SLERP. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и ответов на инструкции. Репозиторий содержит веса в формате Safetensors; заявленная длина контекста — 131 072 токена. Модель можно использовать для генерации продолжений текста, диалоговых ответов, следования инструкциям и иных текстовых задач общего назначения. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH; они дают ориентир по оценке, но не гарантируют качество в конкретном применении. Лицензия репозитория — MIT. Модель унаследовала основу от моделей Meta Llama 3.1; перед использованием следует учитывать условия лицензии базовых моделей Meta.

Ereeeeef3/llama-3.3-merged — текстовая модель семейства Llama, созданная автором репозитория с помощью mergekit из unsloth/Llama-3.3-70B-Instruct. Использован метод passthrough: слои базовой модели продублированы, а итоговая плотная архитектура LlamaForCausalLM содержит 55,8 млрд параметров. Модель предназначена для генерации текста и диалогового использования; доступен интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и унаследованные от базовой модели многоязычные возможности. Репозиторий содержит веса safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Карточка описывает способ слияния, но не приводит отдельной оценки качества итоговой модели; дублирование слоёв само по себе не подтверждает улучшение способностей базовой модели.

Undi95/Lumimaid-Magnum-v4-12B — объединённая разговорная модель на архитектуре Mistral, созданная автором Undi95 с помощью mergekit. В объединение вошли Lumimaid, Magnum v4, LocalC и Mistral Nemo Instruct; также автор добавил дообученную на входах Claude версию Nemo. Модель содержит 12,1 млрд параметров, использует формат safetensors и рассчитана на контекст до 131 072 токенов. Для prompt используется шаблон Mistral [INST]…[/INST]. Модель предназначена для диалога и генерации текста по инструкциям, в том числе для продолжительных бесед и сценариев с вызовом инструментов. В README не описаны отдельные специализированные области применения или подробные оценки качества. Лицензия в предоставленных данных не указана.

Matter 7B 0.1 — языковая модель семейства Mistral, разработанная 0-hero и дообученная полным fine-tuning на наборе Matter. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Для диалога применяется формат ChatML. Модель предназначена для генерации текста и разговорного взаимодействия с ассистентом. В карточке также заявлена поддержка вызова функций, поэтому её можно использовать в сценариях, где ассистент передаёт запросы инструментам. Обучающий набор Matter собран из более чем 35 датасетов и охватывает свыше 6 млрд токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробных сведений о проверке вызова функций; применимость к конкретным задачам стоит оценивать отдельно.

Mobiusv0.5 — объединённая языковая модель на архитектуре Mistral, созданная mashleburneded методом SLERP с помощью mergekit на основе Mistral-Small-Instruct-2409 и Codestral-22B-v0.1. Модель содержит 15,8 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и диалоговых запросов; интерфейс модели также предусматривает вызов инструментов. В состав объединения входит Codestral, ориентированная на генерацию кода модель, однако README не описывает отдельные возможности или качество Mobiusv0.5 в программировании. Модель опубликована в формате safetensors и доступна через Transformers. Лицензия в предоставленных данных не указана.

MS-Nudion-22B — слитая модель для генерации текста на базе архитектуры Mistral, созданная с помощью mergekit методом SLERP из knifeayumu/Cydonia-v1.3-Magnum-v4-22B и SteelSkull/MSM-MS-Cydrion-22B. Модель содержит 22 млрд параметров, использует формат safetensors и поддерживает контекст до 131072 токенов. Модель предназначена для диалогов и генерации связного текста; каталог также отмечает интерфейс вызова инструментов. В конфигурации слияния указан профиль смешивания, ориентированный на поведение Hermes на входе и выходе и WizardMath в средних слоях. Карточка не описывает отдельные гарантии качества или целевые предметные области. Лицензия в предоставленных данных не указана. Для использования следует учитывать, что это объединение двух моделей; ограничения и условия могут зависеть от их лицензий и свойств.

mxbai-rerank-base-v2 (также ProRank-0.5B) — базовая модель семейства реранкеров Mixedbread AI. Она оценивает релевантность пар «запрос — документ» и помогает переставить результаты поиска так, чтобы наиболее подходящие оказались выше. Модель построена на плотной архитектуре Qwen2 с 494 млн параметров; для работы использует Transformers и формат Safetensors. Размер контекста — до 32 768 токенов. Модель предназначена для мультиязычного поиска, включая поиск по коду, и может применяться для повторного ранжирования кандидатов в RAG-системах и поисковых сервисах. По данным авторов, она поддерживает более 100 языков и показывает сильные результаты на английском и китайском; в опубликованной таблице для base-v2 приведены показатели BEIR, мультиязычного и китайского поиска, поиска по коду, а также задержка на A100. Лицензия — Apache-2.0. README не приводит технический отчёт и не описывает ограничения качества или полный перечень языков. Указанные в карточке языковые теги охватывают лишь часть заявленной мультиязычной поддержки; показатели скорости относятся к тестированию на A100 и могут отличаться на другом оборудовании.

pankajmathur/orca_mini_v4_8b — плотная авторегрессионная языковая модель семейства Llama 3, дообученная разработчиком в стиле Orca Mini на наборах данных Orca. Модель рассчитана на диалоговое использование и генерацию текста; в карточке приведён формат запросов ChatML и указано, что модель задумана как универсальная дообученная модель для дальнейшей настройки и объединения с другими моделями. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. В карточке приведены результаты оценки на отдельных бенчмарках, включая AI2 Reasoning Challenge и HellaSwag. Лицензия — Llama 3; автор разрешает дальнейшую настройку при условии указания авторства и предоставления атрибуции.

Qwable-v1-Qwen3.6-35B-A3B-abliterated — мультимодальная производная модель, опубликованная пользователем eggdog100 на основе lordx64/Qwable-v1. Она предназначена для генерации текста и обработки изображений с текстовыми инструкциями, включая сценарии, где требуется сниженное количество отказов. Модель относится к семейству Qwen3.6-35B-A3B и использует архитектуру Mixture-of-Experts: 35 млрд параметров всего, около 3 млрд активных на токен, 256 экспертов и 40 слоёв. В архитектуре применяются гибридное линейное внимание Gated-DeltaNet и отдельная vision tower, сохранённая без изменений. Точный размер контекста и перечень поддерживаемых языков в карточке не указаны. Это версия v2, полностью пересобранная после проблем с предыдущей версией, которая страдала от повторов и бессвязной генерации. Для подавления отказов изменялись выходные проекции внимания attn.o_proj; маршрутизатор MoE, эксперты, слои Gated-DeltaNet и vision tower не редактировались. В заявленных тестах модель показала 1 отказ из 100 adversarial-запросов без reasoning и 1 из 94 при включённом reasoning, при этом зафиксировано ноль случаев коллапса генерации. На MMLU-Pro результат составил 78,9, на GSM8K — около 95, однако показатели зависят от настроек и оборудования, а часть бенчмарков не проводилась. К сильным сторонам относятся мультимодальность, сохранённая визуальная часть, разреженная MoE-архитектура с низким числом активных параметров и существенно сниженная склонность к отказам. Ограничения включают потенциально ослабленные защитные механизмы, отсутствие подробных данных о контексте и языковой поддержке, а также неполные результаты оценки. Модель распространяется по лицензии AGPL-3.0.

Модель nextvalueup/Qwen2.5-7B-Instruct — дообученная разговорная языковая модель семейства Qwen2.5, разработанная nextvalueup на базе unsloth/qwen2.5-7b-instruct-bnb-4bit. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и взаимодействие через интерфейс вызова инструментов. Модель имеет плотную архитектуру Qwen2ForCausalLM и содержит 7,1 млрд параметров; максимальная длина контекста составляет 32 768 токенов. Веса представлены в формате PyTorch. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. README сообщает, что обучение проводилось с использованием Unsloth и Hugging Face TRL.

mlx-community/Qwen2.5-7B-Instruct-4bit — преобразованная в формат MLX 4-битная версия Qwen2.5-7B-Instruct, подготовленная сообществом mlx-community с помощью mlx-lm 0.18.1. Это плотная авторегрессионная языковая модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для диалоговой генерации текста и запуска на устройствах Apple Silicon через MLX. Модель принимает текстовые запросы и выдаёт текст; метаданные указывают контекстное окно 32 768 токенов и интерфейс для вызова инструментов. Модель подходит для диалоговых помощников, ответов на вопросы, написания и преобразования текстов. Карточка подтверждает английский язык; других языков по предоставленным сведениям определить нельзя. Репозиторий указывает лицензию Apache-2.0. Ограничения качества и оценки модели в карточке не описаны.

Qwen3.5-2B-text-only — текстовый вариант семейства Qwen3.5, опубликованный Principled Intelligence. Это плотная авторегрессионная языковая модель с архитектурой Qwen3_5ForCausalLM и примерно 1,7 млрд параметров. Из чекпойнта удалены веса визуального энкодера, поэтому он занимает меньше места и требует меньше видеопамяти, чем исходная мультимодальная версия. Модель предназначена для генерации текста и диалогов; заявленная длина контекста составляет 262 144 токена. Чекпойнт сохранён в формате safetensors и рассчитан на запуск через HuggingFace Transformers версии 5.2.0 или новее. По карточке, он сохраняет токенизатор, шаблон диалога и поведение генерации исходной модели, но не принимает изображения. Лицензия — Apache 2.0. Авторы описывают публикацию как лабораторный эксперимент, а поддержку vLLM, SGLang, llama.cpp, Ollama и других движков пока не заявляют.

Карточка модели JetLM/SDAR-4B-Chat-b16 на Hugging Face совпадает с карточкой JetLM/SDAR-8B-Chat-b32, поэтому описание составлено по ней. JetLM/SDAR-8B-Chat-b32 — чат-модель семейства SDAR, разработанная авторами SDAR. Она объединяет авторегрессионное обучение с дискретным диффузионным моделированием: авторегрессионная составляющая обеспечивает эффективное обучение, а диффузионный подход позволяет генерировать токены параллельно. В репозитории указана плотная архитектура SDARForCausalLM с 7,6 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов и генерации текста; в карточке также заявлен интерфейс вызова инструментов. Авторы сообщают о сопоставимой с сильными авторегрессионными моделями общей производительности и преимуществах в некоторых научных задачах рассуждения для моделей SDAR того же масштаба. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Языки и отдельные результаты именно этой версии в карточке не приведены.

Карточка модели JetLM/SDAR-8B-Chat-b64 на Hugging Face совпадает с карточкой JetLM/SDAR-8B-Chat-b32, поэтому описание составлено по ней. JetLM/SDAR-8B-Chat-b32 — чат-модель семейства SDAR, разработанная авторами SDAR. Она объединяет авторегрессионное обучение с дискретным диффузионным моделированием: авторегрессионная составляющая обеспечивает эффективное обучение, а диффузионный подход позволяет генерировать токены параллельно. В репозитории указана плотная архитектура SDARForCausalLM с 7,6 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов и генерации текста; в карточке также заявлен интерфейс вызова инструментов. Авторы сообщают о сопоставимой с сильными авторегрессионными моделями общей производительности и преимуществах в некоторых научных задачах рассуждения для моделей SDAR того же масштаба. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Языки и отдельные результаты именно этой версии в карточке не приведены.

Joseph717171/SOLAR-19.2B-Instruct-v1.0 — разговорная языковая модель, созданная слиянием моделей через mergekit. В карточке она описана как увеличенная версия SOLAR-10.7B-Instruct-v1.0 с чередованием слоёв; метаданные указывают архитектуру LlamaForCausalLM и около 18,5 млрд параметров. Модель принимает текстовые запросы и генерирует текст, а её контекст составляет 4096 токенов. Модель предназначена для диалогов и ответов на инструкции, а также как основа для дальнейшего дообучения или замена исходной версии SOLAR 10.7B. Для обучения использовались наборы Alpaca-GPT4, OpenOrca, Orca DPO и UltraFeedback; карточка также упоминает SFT и DPO. Заявленная лицензия — CC; конкретный вариант лицензии в предоставленных данных не уточнён.

VICIOUS_MESH-12B-BETA — объединённая модель генерации текста на архитектуре Mistral, созданная автором репозитория с помощью mergekit и метода TIES. В слияние вошли VICIOUS_MESH-12B-ALPHA и Infermatic/MN-12B-Inferor-v0.1 на базе Khetterman/DarkAtom-12B-v3. Модель содержит 12,1 млрд параметров, распространяется в формате Safetensors, а в README также указана GGUF-квантизация Q4_K_M. Модель предназначена для диалогов и генерации текста, включая ответы на запросы и работу через интерфейс вызова инструментов. Метаданные указывают поддержку английского, японского, русского, китайского, корейского и испанского языков. Заявленная длина контекста — 1 024 000 токенов; это значение значительно выше контекста, указанного для базовой Inferor 0.1, поэтому фактическую работу с таким объёмом следует проверять в используемой конфигурации. Лицензия — Apache-2.0. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH; это ограниченный набор оценок и он не гарантирует качество на конкретных задачах. Метаданные помечают модель как не предназначенную для всех аудиторий.

Это исследовательская резервная копия контрольной точки авторегрессионной языковой модели семейства Qwen2, опубликованная в стандартном формате Hugging Face для загрузки через Transformers. Модель содержит 7,1 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; в репозитории также отмечен интерфейс вызова инструментов. Карточка не описывает специальную предметную область, обучение или оценку качества, поэтому применимость к конкретным сценариям по этим данным определить нельзя. Веса представлены в формате safetensors. Сведения о лицензии и поддерживаемых естественных языках не приведены.

Atom v1 Preview 12B — это языковая модель в формате GGUF, созданная на основе vanta-research/atom-v1-preview-12b. Данный репозиторий подготовлен mradermacher и содержит imatrix-квантизации для запуска в совместимых инструментах. Модель ориентирована на диалоговые сценарии, совместную работу, обучение, исследовательскую помощь, рассуждения и решение задач. README также указывает на поддержку изображений, однако файлы mmproj размещаются в отдельном статическом репозитории. Модель имеет размер около 12 млрд параметров и заявлена для английского языка. Доступны варианты квантизации от IQ1_S до Q6_K с размером файлов примерно от 3,0 до 9,8 ГБ. В README отмечается, что IQ-квантизации часто предпочтительнее аналогичных по размеру обычных вариантов; Q4_K_M обозначен как быстрый и рекомендуемый вариант, а Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Более низкие уровни квантизации экономят память, но могут заметно снижать качество. Модель может быть полезна для локальных чат-ботов, образовательных приложений, исследовательских ассистентов и задач генерации текста с элементами рассуждения. Ограничения включают предварительный статус версии, зависимость качества от выбранной квантизации, отсутствие в README данных о длине контекста и подробных результатах оценки. Указана лицензия Gemma; условия её применения следует проверять по правилам лицензии базовой модели.

Brocae-Area-7B-slerp — языковая модель на архитектуре Mistral, созданная Kukedlc объединением моделей Fasciculus-Arcuatus-7B-slerp и NeuralKrishna-7B-V2-DPO методом slerp с помощью LazyMergekit. Она предназначена для генерации текста по запросам и может применяться для диалогов, ответов на вопросы и задач рассуждения. Модель содержит 7,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. В README приведены результаты оценивания на бенчмарках Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag. Лицензия — Apache-2.0.

mlx-community/c4ai-command-r7b-12-2024-bf16 — версия модели Cohere Command R7B, конвертированная сообществом mlx-community в формат MLX из CohereForAI/c4ai-command-r7b-12-2024 с помощью mlx-lm 0.20.4. Это плотная авторегрессионная языковая модель семейства Cohere2 примерно на 8 млрд параметров, предназначенная для генерации текста и диалогового общения; доступен интерфейс вызова инструментов. Контекст модели — до 8192 токенов. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский, арабский, греческий, персидский, польский, индонезийский, чешский, иврит, хинди, нидерландский, румынский, русский и другие перечисленные в метаданных языки. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Репозиторий предоставляет конвертированные веса bf16 для MLX; карточка не сообщает результатов оценки качества.

AtlasCloud/DeepSeek-V4-Flash-Vision-Exp-FP8-DSpark — экспериментальная мультимодальная модель семейства DeepSeek-V4, разработанная на базе DeepSeek-V4-Flash-Vision-Exp. Репозиторий содержит преобразованную версию официальных весов с FP4 для маршрутизируемых экспертов в формат FP8 e4m3 с блоковым масштабированием 128×128 ue8m0; плотные слои, общие эксперты, токенизатор и конфигурации DSpark и зрения сохранены без изменений. Модель распространяется как готовый checkpoint для Hugging Face и предназначена для запуска через SGLang или встроенную эталонную реализацию. Модель поддерживает обработку текста и изображений и ориентирована на мультимодальное понимание, агентские сценарии, работу с инструментами, графиками и визуальными данными, сохраняя сопоставимую производительность в текстовых агентских задачах. В README указано использование архитектурных компонентов vision encoder, aligner, DFlash attention, MoE, Hyper-Connections и DSpark forward path. Точный размер модели, окно контекста и перечень поддерживаемых языков не указаны. Ключевое свойство этой версии — lossless-преобразование экспертных весов в FP8 без дополнительного этапа конвертации при развертывании. Для запуска требуется совместимая конфигурация SGLang и отключение FP4-пути экспертов; конкретные требования к оборудованию не приведены. Модель распространяется по лицензии MIT.

Granite 4.2 8B GGUF — это квантизированная версия текстовой генеративной модели ibm-granite/granite-4.2-8b, разработанной IBM. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев, задач рассуждения и, согласно указанным тегам, tool calling. Поддерживается только текстовый ввод; мультимодальные возможности не заявлены. Модель содержит около 9 млрд параметров и доступна в форматах GGUF с разными уровнями квантизации — от BF16 до Q2 и IQ-вариантов. README не указывает архитектуру и размер контекстного окна. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Для запуска используется специальный шаблон prompt с секцией рассуждений <think>. Сильная сторона этой версии — широкий выбор квантизаций, позволяющий подобрать баланс между качеством, скоростью и требованиями к памяти: например, Q4_K_M размером 5,54 ГБ рекомендуется как универсальный вариант, а более высокие уровни сохраняют качество ближе к исходной модели. Ограничения зависят от выбранной квантизации: компактные варианты обеспечивают более низкое качество. Спекулятивное декодирование не поддерживается. Модель распространяется по лицензии Apache 2.0.

Infinity-Instruct-7M-Gen-Llama3_1-70B-GGUF — это GGUF-квантизированная версия генеративной модели Infinity-Instruct-7M-Gen-Llama3_1-70B, разработанной BAAI и подготовленной квантизацией пользователем bartowski. Модель основана на Llama 3.1 с 70 миллиардами параметров и предназначена для генерации текста и выполнения инструкций на английском языке. Модель подходит для диалоговых сценариев, обработки инструкций и других задач text generation. Она использует архитектуру Llama 3.1 и запускается через llama.cpp, в том числе в LM Studio. В репозитории доступны варианты квантизации от Q8_0 до Q2_K, включая рекомендуемые Q4, Q5 и Q6; размер файлов составляет примерно от 27 до 75 ГБ. Для работы следует использовать указанный формат prompt с системным сообщением, пользовательским запросом и ответом ассистента. Сильная сторона модели — большой размер и широкий выбор вариантов квантизации, позволяющий выбирать между качеством и требованиями к памяти. Более высокие варианты обеспечивают качество, близкое к исходной модели, а низкобитные подходят для систем с ограниченным объёмом RAM, но заметно снижают качество. Мультимодальность и размер контекстного окна в README не указаны. Лицензия обозначена как llama3.1; исходная модель обучена на датасете BAAI/Infinity-Instruct.

KR-X-AI/krx-qwen2.5-7b-instruct-v2-m-e — дообученная авторами KR-X-AI разговорная языковая модель семейства Qwen2.5. Это плотная авторегрессионная модель с 7,1 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; среди заявленных возможностей также есть интерфейс вызова инструментов. Модель принимает текст и формирует текстовые ответы, поддерживает контекст до 32 768 токенов. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки TRL. Модель распространяется в формате safetensors по лицензии Apache-2.0. Данных о специализированных предметных областях или отдельных ограничениях качества в карточке нет.