II.4Отладка, тестирование и качество ПО

Inkling-Small — мультимодальная модель общего назначения, опубликованная Unsloth как дообученная версия thinkingmachines/Inkling-Small. Она принимает текст, изображения и аудио, а ответы формирует текстом; предназначена для диалогов, следования инструкциям, разработки чат-ботов, помощников по программированию, систем RAG и приложений с агентами и вызовом инструментов. Модель построена на 42-слойном авторегрессионном трансформере с разреженной MoE-архитектурой: всего 276 млрд параметров, из которых активно 12 млрд; для каждого токена выбираются 6 из 256 экспертов и задействуются 2 общих эксперта. Изображения обрабатываются иерархическим patch-энкодером, аудио — через дискретные токены. Поддерживаются BF16 и NVFP4; для изображений рекомендуются размеры сторон от 40 до 4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью менее двух минут. Основной язык — английский, также заявлена общая многоязычная поддержка. Лицензия — Apache-2.0. Модель может галлюцинировать, неточно следовать инструкциям и хуже работать в длинных многошаговых диалогах; качество может различаться между языками и областями. Для медицинских, юридических и других критически важных решений необходимы проверка результатов и человеческий контроль. README рекомендует дополнительную фильтрацию и мониторинг при развертывании, поскольку модель иногда поддается косвенно сформулированным вредоносным запросам.

Kiel-2.2-Sol — языковая модель KielTech для диалогов и генерации текста. Это плотная причинная модель семейства Llama с 3,2 млрд параметров, дообученная на базе kiel2/Kiel-2.1-Sol. Веса представлены в формате Safetensors; модель работает через Transformers и поддерживает контекст до 131 072 токенов. Модель предназначена для чат-ассистентов, следования инструкциям, решения задач в разных предметных областях, логических рассуждений и генерации кода, включая асинхронные сценарии на Python. В карточке заявлена поддержка английского языка. Модель может использоваться как самостоятельный серверный бэкенд генерации текста. Карточка не приводит результаты независимых оценок качества. Модель распространяется под лицензией, указанной в метаданных Hugging Face; сведения о конкретной лицензии отсутствуют.

MuXodious/Ministral-3-14B-Reasoning-2512-absolute-heresy — дообученная версия мультимодальной модели Mistral AI Ministral 3 14B Reasoning 2512, обработанная модифицированным механизмом Heretic с применением abliteration. Модель предназначена для диалоговых ассистентов и рассуждений, включая решение математических и научных задач, программирование и агентные сценарии с вызовом инструментов и JSON-выводом. Архитектура Mistral 3 — плотная модель с языковой частью на 13,5 млрд параметров и визуальным энкодером на 0,4 млрд. Она принимает текст и изображения, поддерживает контекст до 256 тыс. токенов и языки английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. В README сообщается о низкой доле отказов после обработки, но автор отмечает, что показатель не отражает качество модели. Модель распространяется по лицензии Apache 2.0. README указывает на необходимость Transformers v5 для соответствующего способа использования. Модель описана как сильно uncensored; её ответы могут не отказывать на запросы, которые обычно отклоняются, поэтому требуется внимательное применение.

orca_mini_v2_7b — языковая модель семейства LLaMA, разработанная Pankaj Mathur совместно с Eric Hartford. Это дообученная плотная авторегрессионная модель примерно с 6,6 млрд параметров для генерации текста по инструкциям и диалоговым запросам. При обучении использовались подходы к построению данных из исследования Orca и наборы WizardLM, Alpaca и Dolly-V2; автор отмечает улучшенные возможности генерации кода по сравнению с предыдущей версией orca_mini_7b. Модель предназначена для ответов на вопросы, выполнения инструкций, диалога и генерации кода на английском языке. Она принимает текст и генерирует текст; родной контекст составляет 2048 токенов. В README приведены результаты оценки на наборах ARC Challenge и HellaSwag. Модель описана как uncensored, поэтому её ответы могут требовать дополнительной фильтрации. Лицензия CC BY-NC-SA 4.0 допускает использование с указанием авторства и распространением производных на тех же условиях, но запрещает коммерческое использование.

unsloth/Phi-4-mini-instruct — вариант Phi-4-mini-instruct от Unsloth с исправлениями токенов и шаблона чата. Это компактная плотная языковая модель архитектуры Phi-3 с 3,8 млрд параметров, представленная в формате Safetensors и рассчитанная на работу через Transformers. В карточке базовой модели заявлен контекст до 128 тыс. токенов, однако метаданные этого репозитория указывают native context в 4096 токенов; ориентироваться следует на конфигурацию конкретной сборки и используемого ПО. Модель предназначена для диалогов, генерации текста и кода, следования инструкциям и рассуждений, в том числе математических и логических, в сценариях с ограниченными вычислительными ресурсами или требованиями к низкой задержке. Карточка заявляет многоязычную направленность; среди языков проверки безопасности названы английский, китайский, японский, испанский, португальский, арабский, тайский и русский. Модель поддерживает чат и интерфейс вызова инструментов, но может выдумывать названия функций или URL. Лицензия — MIT.

Qwen3-Jan-v1-256k-ctx-6B-Brainstorm20x — диалоговая модель генерации текста от DavidAU, созданная на основе Jan-v1-4B от Jan. В README указано, что к модели применён Brainstorm 20x адаптер, улучшающий генерацию кода и творческую генерацию; метаданные описывают её как дообучение Jan-v1-4B на архитектуре Qwen3. Модель содержит около 5,4 млрд параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для чата, написания и доработки кода, многошагового решения задач, мозгового штурма и создания более подробной прозы. README описывает применение как готовой instruct-модели и как основы для дальнейшего дообучения. Она принимает текст и генерирует текст; в карточке заявлена поддержка английского языка. Указана лицензия Apache-2.0. Репозиторий содержит веса Safetensors; README также упоминает возможность использовать их для подготовки квантованных форматов, но сами описанные веса не следует считать квантованными.

Qwen3-VL-30B-A3B-Instruct — мультимодальная модель семейства Qwen3-VL, опубликованная Red Hat AI. Это MoE-модель для диалога и генерации ответов по тексту и визуальным данным; в README указана конфигурация с 30 млрд параметров и активной частью A3B. Она предназначена для анализа изображений и видео, визуального рассуждения, OCR, пространственного понимания и взаимодействия с инструментами. Модель также может распознавать интерфейсы и выполнять задачи через GUI, а по изображениям и видео создавать код для Draw.io, HTML, CSS и JavaScript. README заявляет контекст 256 тысяч токенов с возможностью расширения до 1 млн, поддержку OCR на 32 языках и улучшенное понимание длительных видео с привязкой событий ко времени. Среди архитектурных особенностей названы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Репозиторий содержит веса в формате safetensors; для работы указана библиотека Transformers. Лицензия — Apache-2.0. Описание не приводит результатов бенчмарков или точного перечня поддерживаемых языков; заявленные возможности и качество следует оценивать на целевых данных и сценариях.

mondk/Safetensors.chatgpt-gpt-codex-V2 — разговорная генеративная модель на архитектуре Qwen3, выпущенная в формате Safetensors. По карточке, она ориентирована на помощь с кодом и стремится давать более аккуратные ответы и отвечать быстрее, хотя автор отмечает небольшое снижение точности кода. Модель содержит 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. Это дообучение mondk/Safetensors.chatgpt-gpt-gpt5.1-thinking на наборах данных с диалогами, шутками и примерами для задач кодирования. Метаданные отмечают чат и интерфейс вызова инструментов; основной сценарий — генерация текста, в том числе ответы в диалоге и помощь при написании кода. Подтверждённая лицензия — Apache-2.0.

Это объединённая модель MaziyarPanahi на базе Mistral-7B-Instruct-v0.1 и uukuguy/speechless-code-mistral-orca-7b-v1.0. Модели объединены методом SLERP; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров, веса представлены в safetensors, исходная конфигурация слияния использует bfloat16. Модель предназначена для диалоговых ответов на инструкции и генерации кода на английском языке. Контекстное окно — до 32 768 токенов. Лицензия — Apache-2.0.

Swift-Qwen3.8-27B-GGUF — квантованная GGUF-версия модели Swift-Qwen3.8-27B, разработанной UkisAI на базе Qwen3.8-27B. Модель ориентирована на задачи рассуждений, включая общее reasoning, математику, следование инструкциям и программирование. В метаданных также указан сценарий image-text-to-text, однако подробности о поддерживаемых визуальных входах в README не приведены. Ключевая особенность модели — сокращение числа thinking-токенов: по заявлению разработчика, их требуется на 58,3% меньше при потере качества менее 1% и ускорении примерно в 1,95 раза на ряде задач. В опубликованных сравнениях с базовой моделью результаты Swift близки к исходным на GPQA-Diamond, MMLU-Pro, C-Eval, IFBench и математических бенчмарках. Размер модели — 27B параметров; формат GGUF предназначен для использования с экосистемой llama.cpp и совместимыми средствами запуска. Сведения о контекстном окне и языках в README отсутствуют. Модель может быть полезна там, где важны качество рассуждений, экономия вычислений и сокращение задержки ответа. Ограничения включают некоторое снижение результатов на отдельных тестах, а также отсутствие в предоставленных данных подробных требований к оборудованию и характеристик квантования. Указана лицензия swift-open-license-1.0; README также содержит ссылку на условия лицензии и упоминает enterprise-лицензирование, поэтому перед коммерческим использованием следует проверить полный текст условий.

Swift-Qwen3.8-27B-GGUF — квантованная версия reasoning-эффективной производной модели Qwen3.8-27B, разработанная компанией UkisAI. Модель предназначена для задач рассуждения, включая общие вопросы, математику, следование инструкциям и программирование, где важны качество ответов и скорость генерации. По данным README, модель распространяется в формате GGUF и предназначена для использования с llama.cpp. Она сохраняет производительность, близкую к базовой Qwen3.8-27B: заявлено снижение качества менее чем на 1% при сокращении числа thinking-токенов в среднем на 58,3% и ускорении до 1,95 раза на ряде задач. В опубликованных тестах результаты Swift близки к базовой модели на GPQA-Diamond, MMLU-Pro, C-Eval, IFBench и математических бенчмарках, однако на некоторых из них качество ниже. Модель подходит для локального запуска и приложений, которым требуется эффективное рассуждение при ограниченных вычислительных ресурсах. Сведения о поддерживаемых языках, размере контекста и точном методе квантования в представленном README не указаны, поэтому эти характеристики нельзя определить достоверно. Модель распространяется по лицензии swift-open-license-1.0; README также содержит ссылку на условия доступа и enterprise-лицензирования.

WhiteRabbitNeo-V3-7B-GGUF — это квантизированная GGUF-версия языковой модели WhiteRabbitNeo-V3-7B, разработанной компанией Kindo и опубликованной в исходном виде WhiteRabbitNeo. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и кода, прежде всего для задач DevOps и кибербезопасности, включая анализ и написание программного кода и работу с техническими запросами. Модель имеет около 7 миллиардов параметров, поддерживает текстовую модальность и английский язык. В репозитории доступны варианты от BF16 до низкобитных форматов Q8, Q6, Q5, Q4, Q3 и IQ4 с размером файлов примерно от 4,1 до 15,2 ГБ. Для запуска подходят llama.cpp, LM Studio и другие совместимые приложения. Размер контекста и точная архитектура в README не указаны. Сильными сторонами являются специализация на кибербезопасности, DevOps и коде, а также широкий выбор квантизаций для различного объёма памяти; варианты с более высокой разрядностью обычно лучше сохраняют качество, а низкобитные требуют меньше ресурсов. Ограничения включают отсутствие в README результатов тестирования, подробных характеристик контекста и информации о качестве на других языках. Указанная лицензия — Apache 2.0.

ATX-Swift-Qwen3.8-27B-Uncensored-IQ4_XS-M-GGUF — это квантизированная GGUF-модель, разработанная JakeATX на основе d0xin/Swift-Qwen3.8-27B-Uncensored-BF16. Исходная модель является uncensored, abliterated-производной Swift-Qwen3.8-27B от UkisAI: из неё намеренно удалено исходное поведение отказа от ответов. Модель предназначена для генерации текста, включая программирование, агентские сценарии, работу с длинным контекстом и локальный запуск через llama.cpp. Модель содержит около 27,32 млрд параметров, 866 текстовых и MTP-тензоров и поддерживает только текстовую модальность, без vision tower. Используется смешанная квантизация ATX-IQ4_XS-M: основная часть весов представлена в IQ4_XS, отдельные важные тензоры повышены до Q5_0, Q6_K или Q8_0. Размер файла — около 14,5 GiB, эффективная точность — 4,56 бит на вес. Включена MTP speculative head, рассчитанная на спекулятивное декодирование. Рецепт ориентирован на видеокарты RTX 3090/3090 Ti с 24 ГБ памяти и позволяет работать с контекстом до 200 тыс. токенов при 8-битном key cache, однако точный лимит зависит от runtime и конфигурации. Сильными сторонами являются высокая эффективность по памяти, оптимизация под SM86 и длинный контекст, а также заявленный результат pass@1 89,25 на выбранной 100-задачной подвыборке LiveCodeBench v6. Модель не имеет встроенных ограничений на отказ и может генерировать контент, который исходная версия отклоняла, поэтому её ответы требуют проверки. В README не указаны точные языки и полный набор оценок качества. Для запуска рекомендуется llamAmpere; модель также совместима со stock TurboQuant+ и основной веткой llama.cpp, но с меньшим запасом по контексту. Лицензия указана как swift-open-license-1.0.

BlueLM-7B-Chat — диалоговая языковая модель vivo AI Lab, подразделения исследований искусственного интеллекта компании vivo. Это плотная авторегрессионная модель семейства BlueLM с 6,9 млрд параметров, предназначенная для генерации ответов в чате и других текстовых задач. Для этой версии заявлен контекст 2 048 токенов; отдельно в семействе выпущены варианты с контекстом 32K. Модель обучалась на корпусе объёмом 2,6 трлн токенов, преимущественно на китайском и английском текстах, с небольшим количеством японских и корейских данных. Разработчик сообщает о конкурентных результатах на C-Eval и CMMLU, а также об оценке общих, математических и программных способностей на наборах бенчмарков. Весами разрешено пользоваться для академических исследований и коммерческих приложений; в метаданных лицензия обозначена как other, поэтому перед использованием следует свериться с условиями LICENSE разработчика.

Chichu 2.0 500M Instruct — компактная языковая модель на 494 млн параметров, разработанная Sebastianpro88 и дообученная методом LoRA на базе Qwen/Qwen2.5-0.5B-Instruct. Для обучения использован корпус дистилляции ответов нескольких моделей, охватывающий математику, программирование, рассуждения и выполнение инструкций. Модель предназначена для диалогов и генерации текста по инструкциям, в том числе для задач с кодом, математикой и логическими рассуждениями. Это плотная архитектура Qwen2 с контекстом до 32 768 токенов; модель принимает и выдаёт текст. Карточка указывает лицензию «other», но не уточняет её условия, поэтому перед использованием следует проверить сведения о лицензировании в репозитории.

CrossGemma-sts-300m — кросс-энкодер для оценки семантического сходства двух текстов, созданный на основе google/embeddinggemma-300m и дообученный dleemiller. Модель принимает пару текстов и выдаёт оценку сходства от 0 до 1: более высокое значение означает более близкий смысл. Модель предназначена для ранжирования и сравнения текстовых пар, оценки ответов языковых моделей и семантического поиска. Она содержит около 303 млн параметров, использует архитектуру Gemma 3 Text для классификации последовательностей и обрабатывает до 2048 токенов. В README указаны результаты на STS-Benchmark: корреляция Пирсона 0,9175 и Спирмена 0,9135. Обучение включало данные wiki-sim и sentence-transformers/stsb; оценка качества на других данных не приведена. Лицензия — Apache-2.0.

cyberneurova-Qwen3.8-27B-GGUF — набор квантизированных сборок модели cyberneurova-Qwen3.8-27B, разработанной cyberneurova. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio, Jan и других средах, поддерживающих формат GGUF, и относится к задачам генерации текста. Модель имеет размер 27B параметров и доступна в вариантах квантизации от Q2_K до Q8_0 объёмом примерно от 10 до 29 ГБ. Рекомендуется вариант Q4_K_M как компромисс между качеством и требованиями к памяти. Заявлена мультимодальность: для обработки изображений требуется отдельный vision projector mmproj-F16.gguf объёмом около 0,9 ГБ. В README приведён пример контекста 8192 токена, однако максимальный размер контекста явно не указан. Языки не заявлены. К сильным сторонам относятся локальный запуск, несколько уровней квантизации, поддержка изображений и заявленный результат базовой модели 11 из 12 на исполняемом бенчмарке программирования. Ограничения включают зависимость качества и требований к памяти от выбранной квантизации, необходимость дополнительного проектора для работы с изображениями и наличие сокращённых встроенных отказов; пользователь несёт ответственность за применение модели и соблюдение законодательства. Модель распространяется по лицензии Apache-2.0.

arcee-ai/DeepSeek-R1-bf16 — конверсия весов DeepSeek-R1 из исходного FP8 в BF16. DeepSeek-R1 разработана DeepSeek на базе DeepSeek-V3-Base; она использует обучение с подкреплением и этапы дообучения с учителем для развития навыков рассуждения. В репозитории указаны архитектура DeepSeek V3, 37,6 млрд параметров и контекст длиной до 163 840 токенов. Модель предназначена для генерации текста в диалоге, решения математических задач, программирования и многошаговых рассуждений. Карточка описывает саму DeepSeek-R1 как разреженную MoE-модель с 671 млрд параметров и 37 млрд активируемых параметров, однако метаданные этого репозитория классифицируют архитектуру как плотную и указывают 37,6 млрд параметров; характеристики оригинала не следует переносить на эту конверсию без оговорки. В метаданных также отмечен интерфейс вызова инструментов. В README не приведены сведения о лицензии и отдельных ограничениях для этой конверсии. Для запуска потребуется совместимая среда инференса с поддержкой BF16; пригодность модели зависит от доступной памяти и оборудования.

casperhansen/deepseek-r1-distill-llama-8b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Llama-8B, опубликованная пользователем Casper Hansen на Hugging Face. Исходную модель разработала DeepSeek; она создана дистилляцией DeepSeek-R1 в базовую архитектуру Llama 3.1 8B с использованием синтетических образцов, с акцентом на рассуждения. Репозиторий Casper Hansen содержит веса в формате Safetensors и конфигурацию для запуска квантизованной модели. Модель предназначена для текстовой генерации и задач, требующих языкового и логического рассуждения, включая ответы на вопросы, математические и программные задачи. Она использует архитектуру LlamaForCausalLM, около 8 млрд параметров, 32 слоя, 32 attention-heads и 8 key-value heads. Конфигурация указывает контекст до 131 072 токенов, хотя практическая поддержка зависит от используемого ПО и ресурсов. Мультимодальность не заявлена; модель работает с текстом. Квантизация снижает требования к памяти и ускоряет локальный запуск, но может ухудшать качество по сравнению с полной точностью. Карточка производной модели почти не содержит описания, поэтому подробные сведения о бенчмарках, ограничениях безопасности, языковой поддержке и рекомендуемых сценариях именно этой AWQ-сборки отсутствуют. В репозитории указана лицензия MIT; при использовании также следует учитывать условия исходной модели DeepSeek-R1-Distill-Llama-8B.

DeepSeek-R1-Distill-Qwen-7B-bnb-4bit — это 4-битно квантованная версия модели DeepSeek-R1-Distill-Qwen-7B, опубликованная Unsloth и основанная на базовой модели deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Модель относится к семейству плотных языковых моделей Qwen, дистиллированных из DeepSeek-R1, и предназначена для исследовательских и прикладных задач, требующих рассуждений, включая решение математических задач, программирование, анализ и генерацию текста. В README также упоминается применение для диалоговых сценариев и текстового завершения через экосистему Transformers и инструменты Unsloth. Модель имеет размер 7B параметров и поддерживает английский язык; другие языки и мультимодальные возможности в предоставленных данных не указаны. Суффикс bnb-4bit указывает на 4-битное представление в формате, связанном с bitsandbytes, что снижает требования к памяти и делает запуск доступнее на ограниченных по ресурсам GPU, однако может сопровождаться компромиссом между качеством и точностью по сравнению с полной точностью. Архитектурные детали и размер контекста в README не приведены. Сильной стороной модели являются возможности рассуждения, унаследованные от DeepSeek-R1 и дистиллированные в компактную 7B-модель, а также более экономичное потребление памяти благодаря квантованию. Ограничения включают возможные ошибки, недостаточную читаемость или смешение языков, характерные для reasoning-моделей и упомянутые в контексте исходного семейства; конкретные результаты для этой версии не указаны. Модель распространяется по лицензии Apache-2.0.

Frontis-MA1-35B-GGUF — квантизированная версия модели FrontisAI/Frontis-MA1-35B, подготовленная bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для задач machine learning engineering, автоматизированного исследования, агентских сценариев и программирования. Она поддерживает обработку текста и изображений при наличии дополнительного файла mmproj. Модель содержит около 36 млрд параметров и использует архитектуру MoE; в метаданных также указана поддержка MTP. Доступны варианты от BF16 и Q8_0 до более компактных IQ- и Q3-квантизаций. В качестве универсального варианта рекомендуется Q4_K_M размером около 21,86 ГБ, обеспечивающий компромисс между качеством и требованиями к памяти. Для максимального качества предлагаются Q6_K и Q6_K_L, а для ограниченных ресурсов — более компактные варианты с некоторым снижением качества. К сильным сторонам относятся мультимодальность, большой размер модели и широкий выбор квантизаций для запуска на различном оборудовании. Ограничения включают значительные требования к оперативной или видеопамяти, необходимость совместимого ПО и mmproj-файла для работы с изображениями, а также возможное снижение качества у компактных квантизаций. Языки и размер контекстного окна в README не указаны. Распространение осуществляется по лицензии CC BY-NC 4.0, допускающей некоммерческое использование на заявленных условиях.

FuseAI/FuseChat-Llama-3.2-3B-Instruct — диалоговая языковая модель семейства Llama, разработанная FuseAI в рамках серии FuseChat-3.0. Это плотная авторегрессионная модель с 3,2 млрд параметров и контекстом до 131 072 токенов, предназначенная для генерации текста в ответ на инструкции и диалоговые запросы. Модель построена на основе Llama-3.2-3B-Instruct и улучшена методом неявного слияния возможностей нескольких крупных языковых моделей. Обучение включало supervised fine-tuning на лучших ответах и direct preference optimization на предпочтительных и менее предпочтительных ответах, сформированных с участием более крупных моделей. В карточке описаны улучшения для общего диалога, следования инструкциям, математики, программирования и китайского языка. Модель принимает текст и генерирует текст. В репозитории указаны веса Safetensors; метаданные не содержат сведений о лицензии, поэтому условия использования следует сверить с карточкой Hugging Face и лицензией базовой модели. Описание серии сообщает об улучшениях на бенчмарках, но приведённые количественные результаты относятся к отдельной конфигурации Llama-3.1-8B и не должны переноситься на эту версию 3B.

unsloth/GLM-Z1-9B-0414-GGUF — это GGUF-квантизированная версия модели GLM-Z1-9B-0414, разработанной командой THUDM и подготовленной Unsloth. Модель относится к семейству GLM, предназначена для генерации текста и поддерживает китайский и английский языки. Это компактная модель примерно на 9 млрд параметров, ориентированная на локальный запуск в условиях ограниченных вычислительных ресурсов. Модель обучалась с применением методов cold start и расширенного обучения с подкреплением на задачах математики, программирования и логики. Она рассчитана на диалоговые и общие текстовые задачи, требующие рассуждений, включая математическое решение проблем и выполнение сложных инструкций. Для инференса рекомендуется использовать параметры temperature 0.6, top_p 0.95, top_k 40 и max_new_tokens до 30000; поддерживается принудительный режим рассуждений. Базовый максимальный контекст составляет 8192 токена, а для более длинных входов может применяться YaRN с исходным пределом позиционных эмбеддингов 32768 токенов, что потенциально снижает качество на коротких текстах. Для запуска через llama.cpp требуется включить опцию --jinja. Модель распространяется по лицензии MIT.

Hercules-2.5-Mistral-7B — дообученная Locutusque языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная на основе mistralai/Mistral-7B-v0.1. Она генерирует текст и рассчитана на следование сложным инструкциям, диалог, вызов функций и ответы по научным и техническим темам, включая биологию, химию, физику, математику, медицину и информатику. В карточке указано контекстное окно 32 768 токенов; модель распространяется в формате safetensors и использует библиотеку Transformers. Модель подходит для специализированных чат-ботов, учебных помощников и генерации кода с вызовом функций. По карточке, при оценке на Open LLM Leaderboard она набрала 63,59 балла в среднем. Лицензия — Apache-2.0. Модель может выдавать токсичный контент, фактические ошибки и галлюцинации, в том числе в специализированных областях. Вызов функций требует подходящей внешней инфраструктуры; результаты и безопасность ответов следует проверять.

Huihui-NeoHorse-1-4B-abliterated — экспериментальная версия TokenRhythm/NeoHorse-1-4B от Huihui AI с ослабленными отказами, созданная методом abliteration. Это плотная текстовая авторегрессионная модель семейства Qwen3.5 с 3,4 млрд параметров; она предназначена для диалога, следования инструкциям, рассуждений, программирования и агентных сценариев с вызовом инструментов. Модель работает через библиотеку Transformers и поддерживает контекст до 262 144 токенов. Автор описывает изменение как грубую проверку концепции: аблированы слои 5–17. README также упоминает извлечённые из исходной Qwen3.5-4B компоненты MTP и Vision, которые можно отдельно добавить в каталог модели; доступность этих компонентов в основном наборе весов не подтверждена. Снижение защитных ограничений повышает вероятность чувствительных, спорных или неподходящих ответов, поэтому результаты требуют проверки. Лицензия — Apache-2.0.

NANI-Nithin/Instella-MoE-16B-A3B-Think-GGUF — набор GGUF-квантизаций модели Instella-MoE-16B-A3B-Think, разработанной AMD. Модель предназначена для рассуждений, генерации текста, программирования и выполнения общих инструкций, включая локальный запуск на рабочих станциях, CPU, GPU и периферийных устройствах через совместимые среды llama.cpp. Это MoE-модель архитектуры Instella-MoE, производная от семейства DeepSeek-V3, примерно с 16 млрд общих параметров и около 3 млрд активных параметров на токен. Она является текстовой, англоязычной моделью с контекстом до 32 768 токенов в указанном примере запуска. Репозиторий содержит варианты от Q2_K до Q8_0, IQ-квантизации и BF16; квантизация позволяет снижать требования к памяти с соответствующим компромиссом между качеством и размером. Ключевое ограничение — отсутствие поддержки Instella-MoE в основной ветке llama.cpp на момент подготовки файлов. Для запуска требуется форк llama.cpp с веткой instella-moe либо будущая версия с полной поддержкой архитектуры, включая Gated Attention и FarSkip. Лицензия модели указана как Apache-2.0.

KeawGPT — языковая модель KordAI с архитектурой Qwen3 и примерно 3,7 млрд параметров, дообученная на базе KordAI/KeawGPT-Base. Она предназначена для генерации ответов и рассуждений на английском языке по STEM-дисциплинам — математике, физике, инженерии и информатике — и философии, включая логику, этику и анализ аргументов. Модель поддерживает диалог и структурированные вызовы инструментов, например для поиска в интернете и выполнения кода, если приложение умеет обрабатывать вызовы и передавать результаты обратно модели. Контекст — до 32 768 токенов; веса доступны в формате Safetensors. Модель подходит для объяснения технических понятий, разбора задач и концептуальных вопросов, а также для использования в агентных сценариях с инструментами. Она может допускать фактические и логические ошибки, особенно в многошаговых доказательствах и узкоспециальных темах, и выдумывать цитаты или источники. Вызов инструментов требует соответствующей реализации в приложении. Модель не предназначена для критически важных решений или профессиональных медицинских, юридических и финансовых консультаций. Лицензия — Apache-2.0.

Карточка модели TracNetwork/mayhem-catalog-prism-ml-Ternary-Bonsai-27B-MLX-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Meta Llama 3 70B Instruct — разработанная Meta инструкция-настроенная большая языковая модель для диалоговых сценариев. Это авторегрессионный плотный трансформер Llama с Grouped-Query Attention, примерно 69,5 млрд параметров и контекстом 8192 токена. Модель принимает текст и генерирует текст, включая код; карточка указывает английский как целевой язык. Модель подходит для диалогового помощника и генерации текста или кода. Настроенная версия обучена с помощью supervised fine-tuning и обучения с подкреплением на основе человеческих предпочтений (RLHF), с акцентом на полезность и безопасность. Репозиторий распространяет веса в формате safetensors; заявлена пользовательская коммерческая лицензия Meta Llama 3, условия которой необходимо соблюдать. Модель не предназначена для использования на языках, отличных от английского, согласно указанному назначению; для ответственного развертывания могут потребоваться дополнительные меры безопасности.

microsoft_Phi-4-reasoning-GGUF — это набор GGUF-квантизированных вариантов языковой модели Phi-4-reasoning, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов, решения математических задач, работы с кодом и задач, требующих рассуждений. Модель поддерживает текстовый ввод и вывод; в метаданных указан английский язык. Доступны варианты от BF16 до низкобитных квантов Q8_0, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, требованиями к памяти и скоростью локального запуска. Размер файлов варьируется примерно от 8,4 до 29,3 ГБ. Архитектура, число параметров, максимальный контекст и дополнительные модальности в README не указаны. Сильными сторонами являются наличие вариантов с разным уровнем сжатия, высокая заявленная точность старших квантов и совместимость с llama.cpp, LM Studio и другими проектами на его основе. Ограничения включают возможное снижение качества у низкобитных вариантов, необходимость значительного объёма памяти и отсутствие подробных данных о производительности, контекстном окне и поддерживаемых языках помимо английского. Распространение указано по лицензии MIT.