II.2Создание и понимание программного кода

Jarvis v2 — разговорная генеративная модель, разработанная Yug Sisodiya и обученная и собранная в студии J.A.R.V.I.S. Neural Forge. Автор описывает её как самостоятельную модель на архитектуре jarvis-grand-architecture; веса доступны в формате GGUF, а запуск предусмотрен через Ollama и локальные конвейеры инференса. Модель предназначена для интерактивного диалога, рассуждений в разных областях и решения пользовательских задач. Заявлено контекстное окно в 131072 токена и оптимизация для низкой задержки. В карточке указана поддержка английского языка. Лицензия — Apache-2.0. Описание архитектуры и возможностей дано разработчиком в общих формулировках; README не приводит оценок качества или результатов сравнительных тестов. Поэтому заявленные способности к рассуждению и производительность следует считать характеристиками из карточки, а не подтверждёнными бенчмарками.

Это конвертированная в GGUF версия Josiefied-DeepSeek-R1-0528-Qwen3-8B-abliterated-v1-bf16 от mlx-community, подготовленная для запуска через llama.cpp. Модель предназначена для генерации текста в диалоговом формате; исходная карточка модели содержит дополнительные сведения о её возможностях. В репозитории указано имя Q4_K_M, однако метаданные обозначают файлы как GGUF BF16, поэтому точный формат точности по имеющимся данным установить нельзя. Карточка рекомендует использовать llama.cpp на macOS и Linux. Лицензия и ограничения исходной модели в предоставленной карточке не описаны; модель создана из анонимизированной версии Qwen3, поэтому ответы могут включать контент без обычных ограничителей.

Ling-3.0-tiny-APEX-GGUF — набор квантизированных GGUF-профилей базовой модели inclusionAI/Ling-3.0-tiny, разработанный с использованием технологии Apex-Quant. Модель предназначена для локального запуска и генерации текста через llama.cpp, Ollama и llama-cpp-python; подходит для сценариев, где важны автономная работа, экономия памяти и выбор между качеством, скоростью и размером файла. В основе лежит архитектура BailingMoeV3ForCausalLM с разреженной Mixture-of-Experts: 128 экспертов по 1 млрд параметров, из которых для каждого токена используются 8. Модель содержит 24 слоя, имеет скрытый размер 1536, 16 attention heads, grouped query attention и контекст до 131 072 токенов; размер словаря — 157 184 токена. Репозиторий предоставляет профили i-quality на 5,4 ГБ, i-balanced на 5,6 ГБ и i-compact на 3,7 ГБ с разной степенью квантизации и компромиссом между качеством, скоростью и требованиями к RAM. Сильные стороны модели — MoE-архитектура, большой контекст, локальное развертывание и наличие нескольких профилей для производственных, сбалансированных и ограниченных по памяти сред. Ограничения включают зависимость от совместимого ПО и оборудования для инференса, а также ожидаемое снижение качества у компактного профиля по сравнению с более точными вариантами. Языки и специализированные возможности исходной модели в README не указаны. Квантизированные модели распространяются по лицензии MIT; для коммерческого использования рекомендуется дополнительно проверить условия лицензии исходной модели.

TroyDoesAI/Llama-3.1-8B-Instruct — исправленная конфигурация модели Llama 3.1 8B Instruct от Meta, подготовленная для пользователей, у которых исходная версия не запускалась из-за несовместимости формата параметра rope_scaling. Репозиторий предназначен для диалоговой генерации текста и содержит веса в формате Safetensors; архитектура — плотная причинная языковая модель LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131072 токенов. Модель принимает текстовые запросы и генерирует текстовые ответы в чат-сценариях. Конфигурационное исправление адресует ошибку разбора параметров RoPE в некоторых средах. Указана лицензия WTFPL. README не сообщает об отдельном дообучении или сравнительных оценках качества.

Это пакет слоёв модели Llama 3.3 70B Instruct в формате GGUF Q3_K_M, подготовленный Mesh LLM для распределённого инференса. Пакет создан из unsloth/Llama-3.3-70B-Instruct-GGUF и разбивает исходное представление модели на артефакты по слоям для запуска на кластере Mesh LLM. Модель предназначена для локального приватного диалогового инференса, распределения вычислений и памяти между несколькими машинами, а также для чат-сценариев через локальный API, совместимый с OpenAI. В основе — семейство Llama; пакет поддерживает генерацию текста и чат. Квантизация Q3_K_M уменьшает требования к ресурсам по сравнению с полноточным представлением, но может влиять на качество ответов. Условия лицензии следует сверять с карточкой исходной модели.

Mungert/Llama-xLAM-2-8b-fc-r-GGUF — это GGUF-версия модели Llama-xLAM-2-8b-fc-r из семейства xLAM-2, разработанного Salesforce AI Research. Модель предназначена для построения AI-агентов, которые интерпретируют намерения пользователя, планируют действия и вызывают внешние функции или инструменты. Она ориентирована на многоходовые диалоги и сценарии function calling, включая автоматизацию рабочих процессов и взаимодействие с API. Модель содержит около 8 млрд параметров, работает с текстом и поддерживает контекст до 128 тысяч токенов. В карточке указан английский язык. Данная версия сгенерирована в формате GGUF с использованием llama.cpp и включает экспериментальный подход к квантованию: отдельные важные слои переводятся на более высокую точность, что может улучшать качество при заданном уровне квантования, но увеличивает размер файла. При этом квантование в целом может снижать точность по сравнению с исходной моделью. Модель заявлена как эффективная для многоходового использования инструментов и стабильного выполнения агентских сценариев; семейство xLAM-2 демонстрирует высокие результаты на бенчмарках BFCL и τ-bench. Релиз предназначен только для исследовательских целей. Лицензия — CC BY-NC 4.0, поэтому коммерческое использование ограничено условиями лицензии.

cyankiwi/MiniMax-M2.7-AWQ-4bit — квантизированная версия языковой модели MiniMax-M2.7, разработанной MiniMax AI. Модель предназначена для генерации текста и совместима с библиотекой Transformers. Вариант использует 4-битное квантование AWQ, что снижает требования к памяти по сравнению с полной версией базовой модели и делает её более подходящей для локального или ограниченного по ресурсам запуска. В предоставленных данных не указаны архитектура, число параметров, поддерживаемые языки, размер контекста и дополнительные модальности, поэтому эти характеристики нельзя достоверно описать. Модель распространяется по модифицированной лицензии MIT; подробные условия приведены в лицензии базового проекта MiniMax-M2.7. Ограничения и результаты оценки в README не указаны, поэтому перед использованием в критически важных сценариях необходима самостоятельная проверка качества и совместимости.

Ministral-8B-Instruct-2410-HF-GGUF-TEST — набор GGUF-квантизаций инструкционной модели Ministral-8B-Instruct-2410-HF, опубликованный bartowski и созданный с использованием llama.cpp. Исходная модель указана как prince-canuma/Ministral-8B-Instruct-2410-HF. Модель предназначена для генерации текста и диалоговых сценариев; запуск рекомендован через LM Studio или совместимые реализации llama.cpp с форматом запроса «<s> [INST] {prompt}[/INST] </s>». Архитектура, языки, модальности и размер контекста в README не указаны. Доступны варианты от полноточного F16 размером 16,05 ГБ до квантизаций IQ3_M размером 3,79 ГБ, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и другие форматы. Квантизации выполнены с использованием imatrix; варианты Q5–Q6 и некоторые Q4 отмечены как обеспечивающие высокое или хорошее качество при уменьшенном размере. Отдельные варианты оптимизированы для ARM и требуют поддержки sve или i8mm; они не рекомендуются для Mac и Windows. Существенное ограничение состоит в том, что файлы основаны на непроверенной конвертации, выполненной до завершения поддержки модели в llama.cpp, поэтому возможны проблемы при запуске. Лицензия в README не указана.

Это 4-битная квантизованная версия Mistral 7B v0.2, подготовленная Unsloth для генерации текста и дообучения с меньшими затратами памяти. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель подходит для продолжения текста и диалоговых сценариев с шаблонами ShareGPT ChatML или Vicuna. Её также можно использовать как основу для пользовательского дообучения, в том числе на одной видеокарте уровня Tesla T4. Карточка описывает способ квантизации и связанные ноутбуки Unsloth, но не приводит результатов оценки качества этой конкретной версии. Репозиторий содержит веса в формате safetensors и использует bitsandbytes для 4-битного представления. Лицензия — Apache-2.0. Язык английский указан в метаданных; сведения о поддержке других языков не подтверждены.

bartowski/Mixtral-8x22B-v0.1-GGUF — набор GGUF-квантизаций базовой текстовой генеративной модели Mixtral-8x22B-v0.1, исходная версия которой опубликована в репозитории mistral-community. Квантизацию выполнил bartowski с использованием llama.cpp. Модель предназначена для локального запуска и генерации текста, включая задачи продолжения текста и другие сценарии, поддерживаемые базовой языковой моделью. Модель использует архитектуру Mixture of Experts (MoE) и обозначение 8x22B; точное число активных параметров и размер контекста в README не указаны. Заявлена поддержка английского, французского, итальянского, немецкого и испанского языков. Это базовая модель без заданного формата промпта, поэтому форматирование запросов должен определять пользователь или приложение. Репозиторий предлагает варианты квантизации Q2_K, Q3, Q4, Q5 и IQ, размером примерно от 52 до 100 ГБ. Более высокие уровни обычно обеспечивают лучшее качество, но требуют больше памяти; низкие уровни позволяют запускать модель на системах с ограниченными ресурсами ценой качества. I-квантизации могут быть выгоднее по соотношению размера и производительности на некоторых конфигурациях, но имеют ограничения совместимости, в частности не поддерживаются Vulkan. Для работы требуется значительный объём RAM и/или VRAM, а модель разделена на несколько файлов. Лицензия — Apache-2.0.

Модель cssupport/mobilebert-sql-injection-detect разработана cssupport и дообучена на основе google/mobilebert-uncased. Она классифицирует входные строки, чтобы выявлять SQL-инъекции, и может применяться как дополнительный фильтр в системах проверки пользовательского ввода. В карточке также упомянуто использование в приложениях, преобразующих естественный язык в SQL, но не приведены подробности такой возможности. Модель основана на MobileBERT — компактной архитектуре с узкими слоями и сбалансированными механизмами внимания и прямого распространения. Она содержит около 59,7 млн параметров, принимает текст на английском языке и рассчитана на контекст до 512 токенов. Автор указывает на пригодность для периферийных устройств и использование набора данных SQL_Injection с Kaggle. Модель распространяется по лицензии Apache 2.0. Автор рекомендует проверять её перед внедрением; в карточке не приведены метрики качества и подробный анализ ошибок, поэтому результаты классификации следует валидировать на данных целевого приложения.

Muse Glimmer 30B Abliterated Q4_K_M GGUF — квантованная 4-битная версия модели Muse Glimmer 30B Abliterated, разработанной mlasli. Модель распространяется в формате GGUF и предназначена для локальной генерации текста, диалоговых сценариев и других задач общего назначения, включая запуск через llama.cpp или Ollama. Доступен мультимодальный режим с обработкой изображений при использовании отдельного vision-проектора mmproj в llama.cpp. Модель содержит около 30 миллиардов параметров; базовая модель имеет 52 слоя. Квантование Q4_K_M занимает примерно 18 ГБ и рассчитано на запуск на одной видеокарте с 24 ГБ памяти, двух GPU по 12 ГБ либо на системе с 32 ГБ оперативной памяти при частичной выгрузке на GPU. README не указывает поддерживаемые языки и максимальный размер контекста. Для обработки изображений используется vision encoder и проектор Meta размером около 1,4 ГБ; Ollama для такого режима не поддерживается. Модель подвергнута abliteration — модификации весов, направленной на ослабление встроенного механизма отказов. Это может повысить готовность отвечать на ограниченные запросы, однако модель не является полностью uncensored: часть отказов, в частности для запросов об оружии, сохраняется. Q4_K_M обеспечивает хороший баланс между размером и качеством, но немного уступает более точным вариантам Q6_K и Q8_0; сама abliteration также может слегка влиять на качество ответов. Лицензия — Apache 2.0.

Это пакет слоёв GGUF для модели NVIDIA Nemotron 3 Super 120B A12B UD Q4_K_XL MTPv2, подготовленный Mesh LLM. Он сохраняет исходное распределение GGUF по слоям и предназначен для распределённого инференса на локальном кластере Mesh LLM. Пакет подходит для приватного запуска на собственном оборудовании, объединения нескольких машин, когда полный файл модели слишком велик для одного узла, и чат-сценариев через локальный API, совместимый с OpenAI. Размер исходной модели — 120B параметров согласно идентификатору; используется вариант квантования UD-Q4_K_XL. Репозиторий указывает библиотеку mesh-llm и формат GGUF. Карточка не приводит перечень поддерживаемых языков, длину контекста, подробности архитектуры и условия лицензии; для этих сведений она отсылает к карточке исходной модели. Метаданные обозначают лицензию как other.

bunsenfeng/parti_24_full — модель генерации текста, опубликованная на Hugging Face и доступная через библиотеку Transformers. По метаданным она относится к семейству Qwen2, имеет около 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Сведения о разработчике и лицензии в предоставленной карточке отсутствуют. Модель предназначена для генерации продолжений текста и диалоговых сценариев, включая использование в приложениях на базе Transformers. Тег conversational указывает на пригодность для разговорного взаимодействия, однако README не содержит описания обучения, результатов оценки, поддерживаемых языков, рекомендаций по применению или подробностей архитектуры. Поэтому перед использованием в продуктивных системах необходимы самостоятельная проверка качества и оценка безопасности ответов.

Prowl secret encoder — модель классификации текста, разработанная для проекта Prowl. Она оценивает, содержит ли короткий фрагмент кода, конфигурации, журнала, комментария или сообщения учётные данные или другой секрет. Модель основана на DistilBERT multilingual cased и дообучена для бинарной классификации последовательностей; использует библиотеку Transformers, принимает фрагменты длиной до 512 токенов и выдаёт оценку вероятности наличия секрета. Модель предназначена для третьего этапа сканера секретов Prowl: она повышает полноту обнаружения свободно сформулированных и многоязычных секретов, дополняя каскад регулярных выражений и логистическую модель. В описанном ансамбле добавление энкодера повысило полноту с 0,848 до 0,970 на ProwlBench при снижении точности с 0,974 до 0,971; на отдельных каналах приводятся высокие показатели полноты. Поддерживаются английский, немецкий, французский, испанский и русский языки. Это не самостоятельный сканер: результат относится ко всему фрагменту и не указывает точное положение или тип секрета. Авторы предостерегают от использования модели как отдельного точного фильтра; тип секрета и локализацию определяют другие компоненты Prowl. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Репозиторий MarsupialAI содержит сборку модели Qwen1.5-32B-Chat в формате GGUF с квантованиями iMatrix. Файлы созданы с использованием groups_merged.txt от Kalomaze; также включена версия GGUF в FP16, разбитая на части из-за ограничения размера файлов. Модель предназначена для диалоговой генерации текста и может использоваться в чат-приложениях, поддерживающих GGUF. Репозиторий распространяет конвертированные файлы базовой модели Qwen1.5-32B-Chat, а не описывает отдельное дообучение. В метаданных указана лицензия other; дополнительных условий лицензии в карточке нет.

bartowski/Qwen2.5-32B-Peganum-v0.1-GGUF — набор GGUF-квантизаций текстовой генеративной модели Qwen2.5-32B-Peganum-v0.1, разработанной Nohobby. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации и обработки текста, включая диалоговые и другие сценарии, поддерживаемые базовой моделью. В README указан английский язык; сведения о других языках отсутствуют. Модель основана на архитектуре Qwen2.5 с размером 32 млрд параметров, однако точные архитектурные характеристики, размер контекстного окна, поддерживаемые модальности и результаты оценки не указаны. Доступны варианты от F16 до более компактных Q3/Q4/Q5/Q6/Q8-квантизаций с разным компромиссом между качеством и требованиями к памяти; рекомендуемыми названы, в частности, Q4_K_M, Q5_K_M и Q6_K. Файлы предназначены для запуска через llama.cpp и LM Studio. В README не указан формат промпта, поэтому его следует уточнять по странице исходной модели. Лицензия — Apache-2.0.

mlx-community/Qwen3-1.7B-8bit — это 8-битная версия языковой модели Qwen3-1.7B, разработанной командой Qwen и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы через chat template, и может использоваться в приложениях, поддерживающих MLX. Модель имеет размер 1,7 млрд параметров и работает в 8-битном представлении, что делает её компактнее полноразмерных вариантов и потенциально удобнее для локального запуска, однако README не содержит подробностей о поддерживаемых языках, размере контекста, архитектурных особенностях, качестве или ограничениях. Для использования требуется библиотека mlx-lm. Модель распространяется по лицензии Apache-2.0.

Dohyeon1/Qwen3-30B-A3B-M-SMoE-ngroups96 — языковая модель семейства Qwen3 с архитектурой Qwen3 MoE, опубликованная пользователем Dohyeon1 на Hugging Face. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, написание и продолжение текстов, а также интеграцию в приложения на базе Transformers. Модель доступна в формате Safetensors и имеет тег conversational. По метаданным модель содержит 2,6 млрд параметров и поддерживает контекст длиной до 40 960 токенов. Основной стек запуска — библиотека Transformers. README не содержит сведений о разработчике, языках, лицензии, обучающих данных, результатах оценки или специальных ограничениях использования, поэтому эти характеристики нельзя достоверно определить по предоставленным данным.

Qwen3.6-12B-IQ-Ultra-Heretic-Uncensored-Thinking-V2-Hightop-GGUF — набор GGUF-квантизаций модели, опубликованный KevinJK51 на основе модели DavidAU/Qwen3.6-12B-IQ-Ultra-Heretic-Uncensored-Thinking-V2-Hightop. Модель относится к семейству Qwen, имеет размер 12B и предназначена для генерации текста и рассуждений в локальных и совместимых с GGUF системах инференса. Указанные языки — английский и китайский. Доступны варианты квантизации от Q8_0 размером 11,57 ГБ до Q2_K размером 4,60 ГБ; Q4_K_M обозначен как оптимальный баланс качества и размера. Модель можно использовать через LM Studio, llama.cpp, Ollama и другие GGUF-совместимые движки. Квантизация снижает требования к памяти, но варианты с меньшим размером могут уступать исходной модели по качеству. Сведения о длине контекста, точной архитектуре, поддержке дополнительных модальностей и результатах независимого тестирования не указаны. Лицензия модели — Apache-2.0.

Это производная GGUF-сборка Qwen3.6-27B, подготовленная Уилсоном Чжаном (Wilson Zhang) на основе конвертированной NVIDIA NVFP4-сборки. Из файла удалён встроенный слой MTP для предсказания следующего токена; остальные тензоры и квантование сохранены без повторного квантования. Сборка предназначена для текстового вывода через llama.cpp и экономии видеопамяти, в частности для запуска на видеокарте с 16 ГБ VRAM. В README описан проверенный запуск с контекстом 65 536 токенов на RTX 5060 Ti 16 ГБ с квантованным KV-кэшем. Модель поддерживает диалоговый режим; в метаданных указаны английский и китайский языки. Лицензия — Apache-2.0. Удаление слоя MTP экономит около 251 МиБ, что помогло разместить модель целиком на проверенной конфигурации GPU. README отмечает, что на видеокартах с большим объёмом памяти исходная сборка с MTP может работать быстрее. Проверка подтверждает загрузку и обработку запросов на указанной конфигурации, но не гарантирует работу на всех 16-ГБ видеокартах и не является стандартизированной оценкой качества. Мультимодальный вывод не проверялся; работа на 64K контексте может исчерпать память при других настройках. Модель не является официальным релизом Qwen, NVIDIA, автора исходного GGUF или llama.cpp.

Qwen3.6-35B-A3B-abliterated-NVFP4-MTP — языковая модель на базе Qwen3, созданная сообществом THe-Plague на основе моделей Qwen и производных Huihui AI и sakamakismile. Она предназначена для генерации текста и диалоговых сценариев, включая работу с длинным контекстом, а также для высокоскоростного инференса на видеоускорителях NVIDIA Blackwell, в частности DGX Spark с чипом GB10. Модель поддерживает английский и китайский языки, использует библиотеку vLLM и доступна для задач text generation. Архитектура построена по схеме Mixture of Experts: общий объём составляет 35 млрд параметров, из которых при обработке активны около 3 млрд. Основные веса квантизированы в NVFP4 и занимают примерно 21,9 ГБ, а слои MTP (Multi-Token Prediction) хранятся в BF16 и занимают ещё около 1,6 ГБ. Общий размер — около 23,5 ГБ, контекст — до 131 072 токенов. MTP предназначены для speculative decoding; на одном DGX Spark заявлена скорость до 95,2 токена в секунду при MTP=3. К сильным сторонам относятся сочетание NVFP4-квантизации и speculative decoding, высокая скорость генерации, поддержка длинного контекста и оптимизация под NVIDIA Blackwell. Abliteration удаляет направление отказа в представлениях модели, поэтому поведение и ограничения безопасности могут отличаться от исходной Qwen3.6; модель позиционируется как uncensored. Производительность зависит от оборудования, конфигурации vLLM и параметров MTP, причём в README оптимальным указан режим MTP=3, а MTP=4 может снижать скорость. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Finnish-Titan-Uncensored-GGUF — мультимодальная текстогенерационная модель, разработанная Kataguru на основе 27-миллиардной базовой модели DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored. Модель адаптирована с помощью LoRA и последующего слияния весов для улучшения работы с финским языком, включая сложную грамматику, словообразование, падежные формы и специализированную лексику. Также заявлена поддержка английского языка и неограниченного по тематике стиля генерации. Модель предназначена для диалогов, генерации и анализа текстов, технических и научных задач, программирования, творческого письма, философских и общественных тем. Репозиторий содержит варианты GGUF с разными уровнями квантования, что позволяет запускать модель через llama.cpp и LM Studio на системах с примерно 16 ГБ и более видеопамяти или оперативной памяти. Доступны дополнительные файлы mmproj для анализа изображений и MTP-модель для спекулятивного декодирования, однако точные параметры контекстного окна в README не указаны. К сильным сторонам относятся специализация на финском языке, широкий заявленный спектр задач, поддержка мультимодального анализа и несколько вариантов квантования с разными компромиссами между качеством, размером и требованиями к памяти. Ограничения связаны с крупным размером модели, высокими аппаратными требованиями и возможной потерей качества при использовании компактных квантов; конкретные результаты тестирования и бенчмарки не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3-Nemotron-32B-GenRM-Principle — языковая модель NVIDIA для оценки ответов, созданных LLM, по заданному пользователем принципу. Она принимает текст диалога с несколькими ходами и принцип оценки, а затем выдаёт числовую оценку: более высокий балл означает, что итоговый ответ ассистента в большей степени соответствует принципу. Модель построена на архитектуре Qwen3 и дообучена на базе Qwen/Qwen3-32B; в метаданных указано 29,7 млрд параметров. Карточка сообщает о контекстном окне 128 тыс. токенов и обучении на диалогах длиной до 8 тыс. токенов, тогда как метаданные указывают native context в 40 960 токенов. Модель принимает текст и выдаёт скалярную оценку. Она предназначена для оценки качества и предпочтений ответов, в том числе в задачах чата, математики, кода и безопасности; карточка приводит результаты на RM-Bench и JudgeBench. Для запуска рекомендуются Transformers или vLLM и одна или несколько GPU с 80 ГБ памяти; заявлена оптимизация для GPU NVIDIA. Указана лицензия other, поэтому условия использования следует сверить с лицензией и условиями NVIDIA для репозитория. Модель оценивает соответствие указанному принципу, но полученный балл сам по себе не гарантирует объективность или надёжность оценки для конкретного применения.

Reflection Llama-3.1 70B — языковая модель на архитектуре Llama 3.1, разработанная Matt Shumer и дообученная методом Reflection-Tuning на синтетических данных Glaive. Она предназначена для диалогов и генерации ответов, в том числе для задач, где полезно перепроверять ход решения и исправлять обнаруженные ошибки. Модель содержит 69,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. При генерации модель оформляет рассуждение и итоговый ответ специальными токенами; в ходе рассуждения она может обозначать исправление ошибки. Для взаимодействия используется формат чата Llama 3.1. В карточке указана лицензия Llama 3.1. Автор предупреждает о проблеме в первоначальной загрузке и рекомендует пользователям, столкнувшимся с плохими результатами, повторить попытку с исправленной версией. README предлагает параметры temperature 0,7 и top_p 0,95, но не приводит независимых подтверждений заявлений о качестве и превосходстве модели.

StructLM-34B — языковая модель TIGER-Lab для задач grounding по структурированным знаниям. Это плотная авторегрессионная модель семейства Llama с 33,5 млрд параметров, дообученная на инструкционном наборе TIGER-Lab/SKGInstruct, который объединяет 19 задач со структурированными знаниями и SlimOrca. Модель принимает линеаризованные структурированные данные и инструкции, а ответ формирует в текстовом виде; для версии 34B в README приведён специальный формат промпта. Контекст — до 16 384 токенов. Модель предназначена для вопросов и рассуждений по таблицам, графам знаний и другим структурированным входам, включая генерацию SQL, ответы по графам знаний и проверку утверждений по таблицам. В приведённых авторами оценках StructLM-34B показала результаты на наборах ToTTo, GrailQA, CompWebQ, MMQA, Feverous, Spider, TabFact, DART, BIRD, InfoTabs, FinQA и SQA. README предупреждает, что качество в этой области остаётся сложной задачей и модель может быть недостаточно надёжной для непосредственного использования в чате и других приложениях. Лицензия — MIT.

Ternary-Bonsai-8B-mlx-2bit — языковая модель Prism ML для генерации текста и диалогов на устройствах Apple. Это производная от Qwen3-8B модель семейства Qwen3 с плотной архитектурой и 7,6 млрд параметров; в карточке указаны GQA, SwiGLU, RoPE и RMSNorm. Контекстное окно — 65 536 токенов. Веса представлены в тернарном формате {-1, 0, +1} с групповыми масштабами: релиз использует формат MLX 2-bit, около 2,15 ГиБ. Модель предназначена для локального запуска на Mac, iPhone и iPad через MLX и MLX Swift, включая диалоговые сценарии. Разработчик сообщает о среднем результате 75,5 по шести категориям бенчмарков и высокой скорости на устройствах Apple; это показатели из карточки модели, а не независимая гарантия качества. Доступен формат MLX 2-bit, поэтому модель ориентирована на совместимые устройства и программный стек Apple. README отмечает, что оценка энергопотребления на мобильном устройстве приблизительная. Лицензия — Apache-2.0.

Theia-21B-v2-GGUF — это набор GGUF-квантизированных версий языковой модели Theia-21B-v2, разработанной TheDrummer. Квантизацию выполнил bartowski с использованием llama.cpp b3715 и метода imatrix. Модель относится к задачам генерации текста и предназначена для локального запуска, в том числе через LM Studio, с применением шаблона промпта <s> [INST] {prompt}[/INST]. Модель имеет размер 21 млрд параметров в исходной версии; доступны варианты от F16 размером 40,86 ГБ до IQ2_M размером 7,19 ГБ. Представлены различные форматы квантования Q2–Q8, включая варианты, оптимизированные для ARM. Более качественными считаются Q5–Q8, а Q4_K_M указан как вариант по умолчанию для большинства сценариев с ограниченными ресурсами. Некоторые версии используют Q8_0 для embedding- и output-весов, что помогает сохранить качество при уменьшении размера. Преимущество набора — широкий выбор компромиссов между качеством, размером и требованиями к памяти, а также поддержка локального инференса через совместимые инструменты llama.cpp. Ограничения включают снижение качества в низкобитных вариантах и отсутствие в представленном README сведений об архитектуре исходной модели, длине контекста, языках, мультимодальности и результатах оценки. Лицензия указана как other; конкретные условия использования не раскрыты.

Vistral-7B-Chat-DPO-imatrix-GGUF — набор квантизированных файлов модели в формате GGUF, подготовленный пользователем duyntnet на основе Vistral-7B-Chat-DPO от jan-hq. Модель предназначена для генерации текста в диалоговом режиме и использования в совместимых инструментах инференса, поддерживающих формат GGUF и imatrix-квантизацию. В README указана задача text-generation и язык en — английский. Модель относится к семейству Vistral-7B-Chat-DPO; из названия следует размер класса 7B, а также обучение с применением DPO для чат-сценариев. Для формирования запросов используется шаблон Mistral с системным сообщением и пользовательским промптом. Ключевые характеристики исходной архитектуры, точный размер контекста, перечень поддерживаемых модальностей и конкретные варианты квантизации в README не описаны. Лицензия указана как other, без дополнительных условий, поэтому перед использованием необходимо ознакомиться с лицензией исходной модели и файлами репозитория.

Arcee-Agent — языковая модель на 7,1 млрд параметров, разработанная Arcee AI для вызова функций и работы с инструментами. Она основана на Qwen2-7B и использует плотную архитектуру Qwen2ForCausalLM; для обучения применялся Spectrum, вычислительные ресурсы предоставила CrusoeAI. Модель предназначена для диалоговых агентов, маршрутизации запросов к инструментам и многошаговой автоматизации. Она может формировать вызовы API и баз данных, а также вести самостоятельный диалог. Поддерживает форматы Glaive FC v2, Salesforce и Agent-FLAN; в README отмечена наилучшая работа с форматом VLLM OpenAI FC. Контекст — до 131 072 токенов. Карточка указывает английский, немецкий и арабский языки. Модель распространяется под лицензией Apache-2.0. В README заявлены скорость и эффективность, однако не приведены независимые оценки качества. Как и другие языковые модели, она может ошибаться; выполнение её вызовов инструментов зависит от внешней инфраструктуры и настроек приложения.