II.4Отладка, тестирование и качество ПО

DeepHermes-3-Llama-3-3B-Preview-GGUF — набор GGUF-квантизованных версий языковой модели DeepHermes-3-Llama-3-3B-Preview, разработанной NousResearch и подготовленной квантизацией bartowski с использованием llama.cpp. Модель предназначена для генерации текста, диалогов и выполнения инструкций; среди заявленных сценариев — чат, reasoning, roleplaying, function calling и генерация JSON. Указана поддержка английского языка и формата prompt, совместимого с Llama 3 и ChatML-подобной структурой ролей. Модель имеет около 3 млрд параметров и работает с текстовой модальностью. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3 размером примерно от 1,9 до 6,4 ГБ, что позволяет запускать её локально через llama.cpp, LM Studio и другие совместимые проекты, в том числе на устройствах с ограниченной памятью. Более сильные стороны — компактность, широкий выбор квантизаций и пригодность для локального inference; при этом это preview-версия, а квантизация может снижать качество по сравнению с исходными весами. Размер контекстного окна и дополнительные языки в README не указаны. Лицензия обозначена как llama3.

OLMo-2-1124-13B-Instruct-RLVR1 — англоязычная чат-модель Allen Institute for AI (Ai2), выпущенная в ноябре 2024 года. Это плотная авторегрессионная модель семейства OLMo 2 на 13,2 млрд параметров, работающая с текстом и имеющая контекст до 4096 токенов. Модель доступна в формате safetensors и рассчитана на Transformers. Модель прошла постобучение: supervised fine-tuning на варианте набора Tülu 3, DPO и последующее RLVR-обучение. Она предназначена для диалогов и выполнения разнообразных текстовых инструкций; обучение охватывало, в частности, математические задачи MATH и GSM8K и следование инструкциям IFEval. Лицензия — Apache 2.0. В карточке указано, что безопасность модели обучалась ограниченно; без дополнительной фильтрации она может выдавать проблемные ответы, особенно по соответствующим запросам. README описывает эту версию как постобученную OLMo-2 13B, тогда как метаданные указывают базовой моделью OLMo-2-1124-7B-DPO, поэтому точная цепочка происхождения в источниках расходится.

OLMo-2-1124-13B-RM — англоязычная плотная языковая модель Allen Institute for AI на 13,2 млрд параметров, предназначенная для диалогов и разнообразных задач генерации текста. Это постобученная версия OLMo-2-13B: после контролируемого дообучения на варианте набора Tülu 3 модель прошла DPO-обучение на данных предпочтений. Карточка описывает задачи вроде математики, следования инструкциям и общения. Модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов и работает через библиотеку Transformers. Модель ориентирована прежде всего на английский язык. Лицензия Apache 2.0 разрешает её использование на условиях этой лицензии. В карточке отмечено, что обучение безопасности ограничено и без дополнительной фильтрации ответы могут содержать проблемный контент.

OLMo-2-1124-7B-Instruct — открытая инструктивная языковая модель Allen Institute for AI (AI2) из семейства OLMo 2. Это плотная авторегрессионная модель класса Olmo2ForCausalLM примерно с 6,9 млрд параметров, предназначенная для диалогов и выполнения текстовых инструкций. Она принимает текст и генерирует текст; основной язык — английский, а родной контекст составляет 4096 токенов. Модель дообучена на основе allenai/OLMo-2-1124-7B-DPO: после supervised fine-tuning и DPO на варианте набора Tülu 3 она прошла обучение RLVR. Карточка указывает на ориентацию Tülu 3 на разнообразные задачи, включая математику, GSM8K и следование инструкциям. Модель распространяется в формате safetensors через Transformers под лицензией Apache 2.0. В карточке отмечено, что у OLMo 2 ограниченное обучение безопасности; без дополнительной фильтрации модель может выдавать проблемный контент, особенно при соответствующих запросах. Она не обучалась под конкретный системный промпт.

pankajmathur/orca_mini_v4_8b — плотная авторегрессионная языковая модель семейства Llama 3, дообученная разработчиком в стиле Orca Mini на наборах данных Orca. Модель рассчитана на диалоговое использование и генерацию текста; в карточке приведён формат запросов ChatML и указано, что модель задумана как универсальная дообученная модель для дальнейшей настройки и объединения с другими моделями. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. В карточке приведены результаты оценки на отдельных бенчмарках, включая AI2 Reasoning Challenge и HellaSwag. Лицензия — Llama 3; автор разрешает дальнейшую настройку при условии указания авторства и предоставления атрибуции.

bunnycore создала Phi-4-Model-Stock-v2 — объединённую языковую модель для генерации текста и диалогов. Модель получена методом Model Stock с помощью mergekit: в качестве основы использована unsloth/phi-4, объединённой с несколькими вариантами Phi-4 и моделью рассуждений Pinkstack. Репозиторий содержит веса safetensors; архитектура в метаданных обозначена как LlamaForCausalLM, размер — 14,1 млрд параметров, контекст — до 16 384 токенов. Модель подходит для диалоговых сценариев и генерации ответов с рассуждениями. В README приведены результаты Open LLM Leaderboard, включая оценки IFEval и BBH. Метаданные не подтверждают отдельные мультимодальные возможности или поддержку конкретных языков. Условия лицензирования в предоставленных материалах не приведены.

Perplexity AI разработала pplx-pii-masking для обнаружения и маскирования персональных и других чувствительных данных в разговорных текстах. Модель использует примерно 600-миллионную двунаправленную архитектуру Qwen3 на основе perplexity-ai/pplx-embed-v1-0.6b и содержит две выходные головы: токенную классификацию с BIOES-разметкой девяти категорий чувствительных данных и классификатор чувствительности беседы. Для последовательностей применяется ограниченный декодер Витерби; максимальная длина входа — 4096 токенов. Модель подходит для поиска имён, номеров счетов, URL, дат, адресов, адресов электронной почты, телефонов, прочих персональных данных и секретов в разговорных данных, а также для оценки чувствительности беседы целиком. Метаданные указывают английский и многоязычный охват. Веса доступны в формате safetensors; лицензия — MIT. Для запуска README описывает использование PyTorch и Transformers с trust_remote_code.

Mungert/Qwen2.5-0.5B-Instruct-GGUF — это компактная инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen при участии Alibaba Cloud. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, работы со структурированными данными и создания структурированных ответов, включая JSON. Она также ориентирована на задачи программирования и математики, однако из-за небольшого размера её возможности ограничены по сравнению с более крупными моделями. Модель представляет собой causal language model на архитектуре Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-матрицах внимания и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, из которых 0,36 млрд не относятся к эмбеддингам, 24 слоя и Grouped Query Attention с 14 головами для Q и 2 для K/V. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживаются более 29 языков, включая английский, китайский, французский, испанский, немецкий, русский, японский, корейский, арабский и другие. Модель работает с текстом и не предназначена для мультимодальных задач. К сильным сторонам относятся малый размер, улучшенное следование инструкциям, генерация длинных текстов, устойчивость к различным системным промптам и поддержка структурированного вывода. Ограничениями являются компактная ёмкость модели и отсутствие заявленной поддержки изображений, аудио или других модальностей; подробные показатели производительности в README не приведены. Модель распространяется по лицензии Apache 2.0.

Карточка модели schwyzquants/Qwen2.5-32B на Hugging Face совпадает с карточкой Qwen/Qwen2.5-32B, поэтому описание составлено по ней. Qwen2.5-32B — базовая языковая модель компании Qwen, обученная на этапе предварительного обучения. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров; архитектура использует RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Контекст составляет 131 072 токена. Модель предназначена для дальнейшего дообучения и построения систем генерации текста. Семейство поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, японский и арабский. Для этой базовой версии README не рекомендует непосредственное применение в диалогах; для чат-сценариев требуется последующее обучение, например SFT или RLHF. В README также отмечены сильные возможности семейства в следовании инструкциям, коде, математике и генерации структурированных ответов, однако эти улучшения описаны для Qwen2.5 в целом. Модель распространяется под лицензией Apache-2.0. Для работы рекомендуется актуальная версия библиотеки Transformers; версии ниже 4.37.0 могут не распознавать архитектуру qwen2.

Qwen2.5-7B Fine-tuned — это текстовая генеративная модель, разработанная waguriagent на базе Qwen/Qwen2.5-7B-Instruct от команды Qwen. Модель дообучена методом LoRA, объединена с базовыми весами и представлена в формате GGUF с 4-битным квантованием Q4_K_M для эффективного локального запуска. Модель предназначена для диалогов, генерации и обработки текста, включая работу через Ollama, llama.cpp и llama-cpp-python. Она использует архитектуру Qwen2 с примерно 7,6 млрд параметров, поддерживает контекст до 32 768 токенов и формат запросов ChatML. В README явно указан английский язык; другие языки не заявлены. Размер файла составляет около 4,4 ГБ, а для запуска рекомендуется примерно 6 ГБ RAM или VRAM, поэтому модель подходит для потребительских GPU с 8 ГБ видеопамяти. Ключевое преимущество модели — сочетание относительно компактного размера, низких требований к памяти и небольших потерь качества по сравнению с полноточной версией. Ограничения связаны с 4-битным квантованием, возможным снижением качества относительно моделей с большей разрядностью, а также с унаследованными от базовой модели знаниями, предвзятостями и ограничениями. Дообучение на специализированном наборе данных могло сузить универсальные способности, поэтому модель следует проверять на собственных задачах перед использованием в production. Модель распространяется по лицензии Apache 2.0.

Модель t-firefly/qwen3-1.7b-rknn3-rk1828 — адаптация Qwen3-1.7B, разработанной командой Qwen, для запуска на устройстве RK1828 через LlamaPi. Это плотная причинная языковая модель с 1,7 млрд параметров; репозиторий содержит веса в формате GGUF. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования и рассуждений. Поддерживает режимы с рассуждением и без него, а также более 100 языков и диалектов. Контекстное окно составляет 40 960 токенов. Модель подходит для локальных сценариев на периферийных устройствах, где нужны компактный диалоговый помощник, ответы на инструкции или помощь с кодом. Метаданные отмечают интерфейс вызова инструментов, однако подробности его использования в карточке не приведены. Лицензия — Apache-2.0.

mradermacher/Qwen3-4B-Instruct-2507-20250808-233922-0-i1-GGUF — это квантизированная версия текстовой инструкционной модели EganAI/Qwen3-4B-Instruct-2507-20250808-233922-0, подготовленная mradermacher в формате GGUF. Модель основана на Qwen3, имеет около 4 миллиардов параметров и предназначена для генерации текста и диалогового взаимодействия по инструкциям. Модель подходит для локального запуска в сценариях, где требуется компактная causal language model: ответы на запросы, генерация и преобразование текста, простые ассистентские задачи и эксперименты с LLM. В README указана поддержка английского языка. Мультимодальные возможности и размер контекстного окна не заявлены, поэтому модель следует рассматривать как текстовую. Доступно множество вариантов квантизации GGUF с размерами примерно от 1,2 до 2,7 ГБ. Это облегчает запуск на устройствах с ограниченными ресурсами, однако степень квантизации влияет на качество: наиболее компактные варианты могут заметно уступать по качеству, тогда как i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как сбалансированный по размеру, скорости и качеству. Модель распространяется под лицензией Apache-2.0.

Qwen3.8-2B-Distill-GGUF — набор GGUF-квантизаций модели Qwen3.8-2B, разработанной компанией Empero. Исходная модель представляет собой полнопараметрическую дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-2B; опубликованный вариант предназначен для запуска через llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и другие совместимые GGUF-рантаймы. Модель предназначена для генерации текста, диалоговых сценариев и задач рассуждения. В README указаны английский язык и текстовая модальность. Доступны варианты Q4_K_M, Q5_K_M, Q6_K, Q8_0 и BF16 размером примерно от 1,312 до 3,897 ГБ. Архитектура использует гибрид Qwen3.5 с тремя слоями Gated DeltaNet на каждый слой full attention. Контекстное окно в предоставленных данных не указано. К сильным сторонам относятся небольшой размер, возможность работы на телефонах, одноплатных компьютерах и обычных ноутбуках, а также заметное улучшение результатов относительно базовой Qwen3.5-2B на тестах MMLU и GSM8K. Модель является reasoning-моделью и формирует рассуждения в блоке <think>, который при необходимости следует удалять перед показом пользователю. Для загрузки требуется свежая версия llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet; старые версии могут не распознать архитектуру. На длинном контексте основную дополнительную нагрузку создаёт KV-кэш. Весовые файлы распространяются по лицензии Apache-2.0. Квантизации унаследованы от базовой модели Qwen и опубликованы компанией Empero.

Карточка модели willhx/Qwen3-8B-Base-Math-SeaSFT на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Карточка модели willamazon1/Qwen3-8B-SDFT-Math-LoRA-iter45 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

BenevolenceMessiah выпустил объединённую языковую модель QwQ-32B-Preview-abliterated-Self-instruct-4x-TIES-MGS-v1.0. Она создана методом TIES с помощью mergekit на базе huihui-ai/QwQ-32B-Preview-abliterated и объединяет её с Rombos-Coder-V2.5-Qwen-32b, TheBeagle-v2beta-32B-MGS, Rombos-LLM-V2.5-Qwen-32b и EVA-Qwen2.5-32B-v0.2. Модель построена на архитектуре Qwen2 с плотной авторегрессионной языковой сетью Qwen2ForCausalLM, содержит 32 млрд параметров и поддерживает контекст до 32 768 токенов. Предназначена для генерации текста и диалогов; состав исходных моделей предполагает применение для кода, ролевых диалогов и написания историй. Веса опубликованы в формате safetensors для библиотеки Transformers. Карточка не сообщает лицензию и подробные результаты оценки качества, поэтому условия использования и сравнительную эффективность определить нельзя. Как результат слияния нескольких моделей, качество и поведение на конкретных задачах следует оценивать отдельно.

Reka Flash 3 — плотная языковая модель общего назначения с архитектурой семейства Llama, разработанная Reka и обученная с нуля. В README заявлено 21 млрд параметров, а метаданные Hugging Face указывают 20,3 млрд; модель выпущена в формате safetensors и совместима с инструментами, поддерживающими Llama. Она рассчитана на диалог, рассуждения и приложения с низкой задержкой, в том числе развёртывание на устройстве. Контекст составляет 32 768 токенов. Модель обучалась на синтетических и публичных данных с последующим supervised fine-tuning и оптимизацией RLOO с модельными и основанными на правилах наградами. Основной язык — английский; модель в некоторой степени понимает и использует другие языки. По сведениям README, она уступает в задачах, требующих обширных знаний, и для них рекомендуется подключать веб-поиск. Обучение и выравнивание не были обширными, а рассуждения на английском при запросах на других языках могут ухудшать качество ответа. Лицензия — Apache 2.0.

Seed-OSS-36B-Instruct-MLX-6bit — это 6-битная MLX-квантизованная версия инструкционной языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантизация предоставлена командой LM Studio с использованием mlx_lm; сама модель предназначена для генерации текста и работы по инструкциям. Модель подходит для локального запуска в сценариях, требующих ответов на естественном языке и выполнения текстовых задач. Она оптимизирована для устройств Apple Silicon благодаря формату MLX. Известно, что модель содержит около 36 миллиардов параметров и использует 6-битное представление, однако сведения о поддерживаемых языках, длине контекста, конкретной архитектуре и доступных модальностях в README не указаны. К сильным сторонам относятся крупный размер базовой модели, инструкционная настройка, снижение требований к памяти за счёт 6-битной квантизации и оптимизация для экосистемы Apple Silicon. Ограничениями являются зависимость от совместимого MLX-окружения и возможная потеря точности по сравнению с полной версией из-за квантизации; количественные характеристики качества и рекомендации по аппаратным требованиям не приведены. В карточке указана лицензия Apache-2.0.

Hypnos-i1-8B-GGUF — квантизированная версия модели Hypnos-i1-8B, разработанной squ11z1 и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и диалогового использования, включая задачи рассуждения, математики, логики и физики, а также ролевые и conversational-сценарии. В качестве обучающих данных указаны OpenThoughts-114k, Reasoning-Base-20K, OpenMathReasoning, QwQ-LongCoT-130K и GSM8K. Заявлен английский язык; поддержка других языков не указана. Модель относится к семейству Llama 3 согласно метаданным и имеет размер 8B параметров. Доступны варианты от BF16 до низкобитных квантов GGUF, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизация выполнена с использованием imatrix в llama.cpp; модель можно запускать через llama.cpp, LM Studio и другие совместимые проекты. Рекомендуется использовать соответствующий формат ChatML из README. Контекстное окно и точные архитектурные характеристики не указаны. Более агрессивная квантизация экономит память, но может снижать качество, особенно в задачах рассуждения. Распространение заявлено по лицензии Apache-2.0.

Модель win10/sthenno-Test-maybe-is-pro-v2 — объединённая языковая модель на архитектуре Qwen2 с 14 млрд параметров, созданная автором репозитория методом Model Stock с помощью mergekit. В объединение вошли arcee-ai/Virtuoso-Small, deepseek-ai/DeepSeek-R1-Distill-Qwen-14B, Qwen/Qwen2.5-Coder-14B, sthenno-com/miscii-14b-1225 и sthenno/tempesthenno-ppo-ckpt40; базовой моделью при слиянии служила sthenno-com/miscii-14b-1225. Модель предназначена для генерации текста и диалогов. Заявленная длина контекста составляет 131 072 токена; веса доступны в формате safetensors. В состав слияния входят модели для программирования и рассуждений, однако README не описывает отдельные проверенные сценарии или сравнительные результаты, поэтому их качество для конкретных задач не установлено. Лицензия в предоставленных данных не указана.

Stockmark-2-100B-Instruct-beta — большая языковая модель Stockmark Inc. с архитектурой Llama, содержащая 95,1 млрд параметров и предназначенная для генерации текста и диалогового взаимодействия. Модель обучена с нуля на примерно 1,5 трлн токенов: около 60% данных на английском языке, 30% на японском и 10% кода. После предварительного обучения она прошла постобучение на синтетических японских данных для улучшения следования инструкциям; синтетические данные были созданы с помощью Qwen2.5-32B-Instruct. Модель ориентирована прежде всего на японский язык, также обучалась на английском языке и коде. Контекст составляет 4096 токенов. Выпуск обозначен как beta, поэтому модель всё ещё проходит оценку и доработку. Распространяется по лицензии MIT.

zeta-2.1-autoround-W4A16 — это квантизированная версия языковой модели zed-industries/zeta-2.1 для генерации текста. Модель подготовлена с помощью AutoRound, разработанного Intel, и предназначена для запуска исходной модели с меньшими требованиями к памяти, в том числе через Transformers и vLLM. Она может применяться для текстовых запросов, генерации кода и других сценариев автодополнения, поддерживаемых базовой моделью. Используется квантизация только весов int4 по схеме W4A16: веса представлены в 4-битном формате, а активации — в 16-битном, с group_size 128 и симметричной квантизацией. Размер квантизированной модели составляет около 5954 МБ. В README не указаны архитектура, число параметров, поддерживаемые языки и размер контекста. На тестах hellaswag, mmlu и piqa модель показала точность 0,4077, 0,3676 и 0,6768 соответственно. К преимуществам относятся сниженное потребление памяти и возможность использования на совместимом оборудовании при сохранении назначения базовой модели. Ограничения включают возможные фактические ошибки, предвзятые, непристойные или иные нежелательные ответы; перед применением требуется проверка безопасности. Отдельная лицензия для квантизированной версии не указана: необходимо соблюдать лицензию исходной модели zed-industries/zeta-2.1 и учитывать юридические ограничения при коммерческом использовании.

Карточка модели qihoo360/360Zhinao-7B-Chat-32K на Hugging Face совпадает с карточкой qihoo360/360Zhinao-7B-Base, поэтому описание составлено по ней. 360Zhinao-7B-Base — базовая авторегрессионная языковая модель семейства 360Zhinao, разработанная командой 360 (Qihoo 360). Модель содержит 7,1 млрд параметров и обучена на корпусе объёмом 3,4 трлн токенов, преимущественно на китайском и английском языках, а также на коде. Это базовая, а не чат-версия; для диалогового применения в серии отдельно выпущены модели Chat. Модель предназначена для генерации текста и служит основой для задач понимания языка, работы со знаниями, математики, логических рассуждений и генерации кода. Она поддерживает контекст до 4096 токенов, построена на архитектуре ZhinaoForCausalLM и распространяется в формате safetensors для Transformers. README сообщает о сравнительной оценке базовой модели на наборах OpenCompass, включая C-Eval, MMLU, GSM8K и HumanEval. Лицензия — Apache-2.0. Как базовая языковая модель, она не настроена специально для следования инструкциям или ведения диалога; качество ответов зависит от промпта и сценария применения.

Это GGUF-квантизированная версия языковой модели Llama-3.1-Tulu-3.1-8B, разработанной Allen Institute for AI (allenai) и опубликованной в формате квантизаций пользователем bartowski. Модель предназначена для генерации текста и запуска локально с помощью llama.cpp, LM Studio и других совместимых проектов на базе llama.cpp. Указан английский язык; поддержка других языков и мультимодальность не заявлены. Модель содержит 8 миллиардов параметров и распространяется в нескольких вариантах квантизации от Q2 до Q8, размером примерно от 3,7 до 8,5 ГБ. Доступны форматы Q4, Q5, Q6, Q8 и IQ, позволяющие выбирать между качеством ответов и требованиями к памяти; наиболее сбалансированным вариантом автор README называет Q4_K_M, а варианты Q5 и Q6 — высококачественными. Для взаимодействия рекомендуется использовать шаблон с ролями system, user и assistant. Сведения о размере контекста, точной архитектуре, производительности и ограничениях исходной модели в README не приведены. Основные преимущества — широкий выбор квантизаций, возможность локального запуска и адаптация под устройства с разным объёмом оперативной памяти. Более сильное сжатие уменьшает требования к ресурсам, но снижает качество, особенно у вариантов Q2 и Q3. Модель распространяется под лицензией llama3.1; перед использованием следует учитывать условия этой лицензии.

Blur-7b-v1.22 — плотная языковая модель семейства Mistral с 7,1 млрд параметров, созданная объединением трёх моделей с помощью LazyMergekit: s3nh/Sonya-Panda-7B-slerp, argilla/distilabeled-Marcoro14-7B-slerp и Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Она предназначена для генерации текста, диалогов и ответов на математические вопросы. Модель принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В README приведены результаты Open LLM Leaderboard: среднее значение 63,35, результат ARC (25-shot) — 62,29, HellaSwag (10-shot) — 82,00. Это ориентиры из оценки, а не гарантия качества для конкретных задач. Модель опубликована 18 января 2024 года и распространяется по лицензии Apache-2.0.

CatMacaroni-Slerp-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, полученная слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.1 и cookinai/CatMacaroni-Slerp. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции и диалоговые запросы. Модель принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Слияние использует отдельные веса для слоёв self-attention и MLP. Модель распространяется в формате safetensors под лицензией Apache 2.0. Данные карточки не описывают её языковое покрытие или конкретные ограничения качества.

DeepSeek-V4-Flash-0731-OptiQ-2bit — это 2-битная mixed-precision-квантизация базовой модели DeepSeek-V4-Flash-0731, подготовленная сообществом mlx-community с помощью MLX-native toolkit mlx-optiq. Модель предназначена для локального запуска и генерации текста на компьютерах Apple Silicon без PyTorch и облачных сервисов, включая задачи следования длинным спецификациям, рассуждений по текстовым правилам и генерации программного кода. Модель использует разреженную архитектуру Mixture-of-Experts с 304 млрд параметров, 43 слоями и 256 маршрутизируемыми экспертами, из которых для каждого токена активны 6. Контекстное окно составляет 1 048 576 токенов. Маршрутизируемые эксперты квантизированы до 2 бит, attention — до 6 бит, shared expert, embeddings и LM head — до 8 бит, MTP head — до 3 бит; итоговое значение составляет 2,43 bits per weight. Размер на диске — около 92,5 ГБ, а при работе маршрутизируемые эксперты потоково считываются с SSD, поэтому в памяти находится примерно 6,5 ГБ. На Mac с M3 Max заявлена скорость около 2,5 токена в секунду. Сильная сторона модели — возможность запустить чрезвычайно крупную MoE-модель на потребительском Apple Silicon с объёмом оперативной памяти от 16 ГБ. Она демонстрировала способность следовать длинной спецификации и создавать работоспособный одностраничный HTML-код. Ограничения связаны с экстремальной 2-битной квантизацией: она приводит к потере точности, а скорость зависит от производительности SSD. Показатели по стандартному набору бенчмарков для этой версии не опубликованы, поэтому для задач, где критична точность, рекомендуется использовать веса bf16 или более высокобитную квантизацию. Модель распространяется по лицензии MIT.

DiscoPOP-zephyr-7b-gemma — языковая модель для генерации текста, разработанная Sakana AI и распространяемая в формате GGUF сообществом LM Studio. Она основана на Zephyr 7b Gemma и предназначена для общего использования: диалогов, ответов на запросы и других задач генерации текста в локальных приложениях, поддерживающих llama.cpp или LM Studio. Модель содержит около 8 млрд параметров и обучена методом DiscoPOP (Discovered Preference Optimization), разработанным Sakana AI для оптимизации предпочтений. По заявлению авторов, метод обеспечивает более высокий показатель Reward при меньшем отклонении от базовой модели по KL Divergence по сравнению с DPO. Модель работает в текстовой модальности, однако поддерживаемые языки и максимальный размер контекста в README не указаны. Для работы рекомендуется шаблон ChatML; системный промпт не предусмотрен. Предоставленная версия является квантизированной сборкой GGUF от bartowski на основе llama.cpp. Это делает её подходящей для локального запуска при ограниченных ресурсах, но конкретные параметры квантизации в README не указаны. Ограничения включают возможные неточные, вредные или нежелательные ответы, характерные для генеративных языковых моделей, а также отсутствие гарантии качества. Модель распространяется по лицензии gemma; дополнительные условия использования следует проверять в материалах исходной модели.

Dolphin Llama 13B — языковая модель команды Dolphin на архитектуре Llama 1 с 12,9 млрд параметров. Она дообучена на открытой реализации датасета Orca: инструкциях FLANv2 с ответами GPT-3.5 и GPT-4. Модель предназначена для диалогов и выполнения разнообразных инструкций; формат запросов включает поля SYSTEM, USER и ASSISTANT. Контекст составляет 2048 токенов. В карточке модель описана как uncensored: при подготовке данных удаляли примеры отказов, избегания и выравнивания. Это позволяет настраивать поведение модели собственным alignment-слоем, но также означает, что без дополнительной фильтрации она может отвечать на вредоносные запросы. Модель основана на Llama 1 и предназначена только для некоммерческого использования; лицензия в метаданных указана как other.

embedinggemma_arkts — дообученная модель Sentence Transformers на базе google/embeddinggemma-300m, разработчик указан как hreyulog. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразировок, классификации и кластеризации. Модель содержит 302,8 млн параметров и предназначена для работы с текстом; в README указана максимальная длина последовательности 512 токенов, а метаданные каталога сообщают контекст 2048 токенов. Обучение проводилось на 39 122 парах примеров с MultipleNegativesRankingLoss. В README приведены результаты на тестовой части arkts-code-docstring: MRR 0,7788 и Recall@5 0,8769. Данные обучения включают соответствия между описаниями и фрагментами кода, в том числе на китайском и английском; поэтому модель особенно подходит для семантического поиска по документации и коду ArkTS. Лицензия в предоставленных данных не указана.