II.4Отладка, тестирование и качество ПО
В разделе собраны самостоятельные задачи, где AI помогает находить дефекты, строить проверки и повышать надёжность программного продукта. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 978 моделейMungert/MiniCPM5-1B-GGUF — это GGUF-версия компактной языковой модели MiniCPM5-1B, разработанной командой OpenBMB. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами, включая сценарии on-device и edge AI. Формат GGUF рассчитан на использование с llama.cpp, Ollama и LM Studio; данный вариант создан с помощью llama.cpp. Модель является каузальной языковой моделью с архитектурой LlamaForCausalLM и 1 080 632 832 параметрами. Она содержит 24 слоя и использует групповое обобщённое внимание (GQA) с 16 головами для запросов и 2 головами для ключей и значений. Заявленная длина контекста составляет 131 072 токена. Поддерживаются английский и китайский языки, генерация текста, программирование, работа с инструментами, агентские сценарии и задачи, требующие рассуждений. К сильным сторонам относятся небольшой размер, возможность локального развертывания, длинный контекст и гибридный режим рассуждений: один и тот же чекпойнт может работать как быстрый ассистент или включать режим пошагового размышления через параметр enable_thinking. По данным разработчиков, преимущества особенно заметны в использовании инструментов, генерации кода и сложных задачах рассуждения. Ограничения модели связаны с её компактным размером и текстовой специализацией; README не содержит подробных сведений о качестве на всех языках, требованиях к аппаратным ресурсам и конкретных вариантах квантования GGUF. Модель распространяется по лицензии Apache-2.0.
jondurbin/nontoxic-bagel-34b-v0.2 — экспериментальная чат-модель Джона Дарбина, полученная дообучением Yi-34B-200K с использованием набора Bagel и частичного DPO. Она предназначена для диалогов, ответов на вопросы, следования инструкциям, написания текстов и кода, математических задач и ролевого общения. Модель имеет плотную архитектуру LlamaForCausalLM примерно на 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. При обучении использовались разнообразные наборы данных для диалогов, чтения с пониманием, программирования, математики и ролевых сценариев. Модель принимает текст и генерирует текст; README описывает форматы запросов Vicuna, Llama 2, Alpaca и ChatML. Карточка характеризует эту версию как довольно сильно цензурированную. Указана лицензия other, поэтому условия использования следует уточнять в карточке модели и у правообладателя.
DavidAU/Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — плотная мультимодальная модель семейства Qwen 3.5 с 40 млрд параметров, созданная автором DavidAU на основе DavidAU/Qwen3.5-27B-Deckard-PKD-Heretic-Uncensored-Thinking. По карточке, модель дообучали на внутренних наборах Deckard/PDK и наборе высокоуровневых рассуждений Claude 4.5 Opus; также применялись расширение модели с 27B до 40B параметров и шаблон Unsloth. Архитектура использует 96 слоёв, заявлено окно контекста 256 тысяч токенов и переменная длина рассуждений. Модель предназначена для диалогов, рассуждений, написания художественных текстов, генерации кода и анализа изображений. Автор отмечает сохранённую обработку изображений, проверенную генерацию кода и отсутствие ограничений на взрослый и графический контент. В метаданных указаны задачи image-text-to-text, возможности chat и vision, языки английский и китайский, библиотека Transformers и формат safetensors. Автор сообщает о склонности к зацикливанию при низких квантизациях или слишком коротких запросах и рекомендует более качественные кванты и содержательные промпты. Модель распространяется по лицензии Apache-2.0; заявление о превосходстве над базой основано на бенчмарках автора и не является независимой оценкой.
Qwen3.6-27B-Jörmungandr — экспериментальный вариант Qwen, созданный nightmedia слиянием NuSLERP нескольких моделей семейства Qwen3.6 и Qwen3.5, а также Tess-4-27B. Это плотная модель класса Qwen3_5ForConditionalGeneration с 27 млрд параметров; репозиторий содержит веса safetensors и использует библиотеку Transformers. Метаданные указывают на поддержку визуальных входов и диалогового режима. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и творческого письма, включая создание историй и ролевые сценарии. В README приведены результаты бенчмарков и оценки для нескольких вариантов квантования, но они не заменяют независимую оценку качества. Карточка не сообщает длину контекста; поддерживаемые языки по метаданным — английский, китайский, японский и испанский. Модель распространяется по лицензии Apache-2.0.
AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-NVFP4-MIXED — мультимодальная instruction-модель семейства Qwen, разработанная AEON-7 на базе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Это смешанная версия для генерации текста, диалогов, программирования, рассуждений, агентских сценариев, function calling и обработки изображений и видео. Заявлена поддержка английского, китайского и других языков. Модель распространяется через Transformers и ориентирована на запуск с vLLM и OpenAI-совместимыми интерфейсами. Модель содержит около 27 млрд параметров и занимает примерно 23,8 ГБ в четырёх шардах. В основе используется гибридная архитектура с full attention и Gated DeltaNet (GDN), линейным вниманием, vision-компонентами и native MTP для speculative decoding. Основная часть MLP-слоёв 0–55 представлена в формате NVFP4 W4A4, слои 56–63 и отдельные чувствительные компоненты — в FP8, а vision tower, embeddings, lm_head, GDN-компоненты и MTP head сохранены в BF16. Заявлены long-context, reasoning, tool calling и поддержка аппаратуры Blackwell, включая DGX Spark на GB10, RTX 5090 и RTX PRO 6000. Сильные стороны модели — уменьшенный объём при сохранении мультимодальности и MTP, высокая производительность на целевом оборудовании, улучшенные результаты в программировании и агентских тестах, а также отсутствие исходных ограничений на ответы, описанное авторами как uncensored. При этом авторы отмечают, что общая интеллектуальная оценка уступает стандартной Qwen, а OpenClaw является слабым местом; приведённые результаты получены на локальном наборе AEON Suite и не гарантируют аналогичное качество в других условиях. Лицензия — Apache-2.0.
Youssofal/Qwen3.8-Flash-Next-MTPLX-Bare-Speed — это квантованная версия Qwen/Qwen3.8-Flash-Next, подготовленная для запуска через MTPLX на компьютерах Apple Silicon. Модель предназначена для локального диалога, генерации текста и программного кода, включая сценарии работы с OpenCode и другими инструментами разработки. В основе лежит архитектура поколения Qwen4 с гибридной MoE-структурой GDN, Qwen Sparse Attention, памятью n-gram на 51 млрд параметров и встроенной головой multi-token prediction. Заявлены поддержка текста и сохранённая vision tower, контекст до 262 144 токенов; языки в README не указаны. Все MoE-эксперты и плотные матрицы выполнены в плоской 4-битной квантизации с группами по 64 веса, а отдельные компоненты, включая нормализации, параметры GDN, индексатор QSA и MTP-голову, сохраняются в 16-битном формате. Размер загрузки составляет 106,3 ГБ, из которых около 32 ГБ занимает таблица n-gram, потоково читаемая с SSD; резидентные веса занимают примерно 74 ГБ плюс рабочая память. Рекомендуется Apple Silicon Mac с unified memory от 96 ГБ. Адаптивная speculative decoding с глубиной до 3 токенов, по данным README, обеспечивает ускорение до 1,6 раза относительно обычной авторегрессивной генерации, сохраняя распределение вывода при поддерживаемых настройках sampling. Сильные стороны модели — высокая скорость локального запуска, большой контекст и оптимизация под Apple Silicon. Ограничения включают значительные требования к памяти, зависимость от MTPLX и macOS на Apple Silicon, а также компромисс качества, связанный с плоской 4-битной квантизацией; README указывает, что версия Optimized Speed обеспечивает более высокое качество и работает немного медленнее. Лицензия указана как qwen-community-1.0; точные условия следует уточнять в файле LICENSE и документации базовой модели.
Qwen3-VL-4B-Instruct — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Она принимает текст и изображения, а также предназначена для понимания видео и временных событий; в ответ генерирует текст. Модель доступна как репозиторий весов в формате safetensors и рассчитана на диалоговое использование через Transformers. Модель подходит для визуальных вопросов и ответов, распознавания и разбора текста на изображениях, анализа видео, пространственного рассуждения, мультимодальных STEM-задач и управления интерфейсами с вызовом инструментов. В README заявлены контекст 256 тысяч токенов с возможностью расширения до миллиона и OCR на 32 языках. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных данных и объединение многоуровневых визуальных признаков DeepStack. Лицензия Apache-2.0. Это вариант Instruct, предназначенный для применения в мультимодальных диалоговых сценариях; качество зависит от задачи и входных данных, а заявленные возможности не сопровождаются в карточке результатами бенчмарков.
SmolLM2-1.7B-Instruct-bnb-4bit — компактная 4-битная предварительно квантованная версия инструкционной языковой модели SmolLM2-1.7B, разработанной Hugging Face. Модель предназначена для выполнения широкого спектра текстовых задач и достаточно легковесна для запуска на устройствах с ограниченными ресурсами. Вариант Instruct дополнительно обучен следовать инструкциям с помощью supervised fine-tuning и Direct Preference Optimization (DPO). Модель содержит 1,7 млрд параметров и работает с текстом на английском языке. Она ориентирована на диалоговые сценарии, переписывание и суммаризацию текста, решение задач, работу с кодом и function calling. Обучение базовой модели проводилось на 11 трлн токенов из наборов FineWeb-Edu, DCLM, The Stack, а также математических и кодовых данных; инструкционная версия использовала публичные и подготовленные разработчиками наборы, включая UltraFeedback и Synth-APIGen-v0.1. README не содержит сведений о размере контекстного окна и точной архитектуре. Ключевые преимущества — малый размер, сниженные требования к памяти благодаря 4-битной квантованию и улучшения в следовании инструкциям, знаниях, рассуждениях и математике по сравнению с SmolLM1-1.7B. Ограничения включают заявленную поддержку только английского языка и потенциальные компромиссы в качестве, вызванные квантованием и компактным размером. Модель распространяется под лицензией Apache-2.0.
speechless-thoughts-mistral-7b — дообученная авторами Speechless модель Mistral для генерации текста с акцентом на программирование, рассуждения и планирование. Она создана как базовый вариант для speechless-sparsetral-16x7b-MoE и обучена на примерах инструкций из нескольких наборов данных, включая Airoboros, OpenOrca, Open-Platypus, WizardLM, наборы задач по Python, Spider и Evol-Instruction. Модель имеет плотную архитектуру MistralForCausalLM с 7,1 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Карточка использует формат инструкций Alpaca. Модель подходит для генерации и объяснения кода, ответов на инструкции, задач на рассуждение и планирование, а также запросов к базам данных на SQL. Метаданные указывают английский язык и поддержку кода. В README приведены отдельные результаты оценки на бенчмарках, но значение HumanEval не заполнено. Лицензия — Llama 2; применяйте модель в соответствии с её условиями.
SuperGemma-4-12b-abliterated — дообученный инструкционный чекпойнт на 12 млрд параметров, созданный на основе google/gemma-4-12B-it. Разработчик объединил обработку направления отказов в весовом пространстве с дополнительным постобучением для следования инструкциям, программирования, технических ответов на корейском языке, форматирования JSON и вызовов инструментов. Модель распространяется как единый чекпойнт без необходимости подключать адаптер во время работы. Модель предназначена для диалогов, выполнения инструкций и генерации кода. README описывает снижение лишних отказов и приводит результаты внутренних и публичных проверок, однако они не гарантируют качество на других запросах. В метаданных также заявлена мультимодальная архитектура семейства Gemma 4 с возможностью работы с изображениями, видео и аудио у базовой модели; явное подтверждение этих входов для данного чекпойнта в README отсутствует. Модель загружается через Transformers, веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Карточка указывает английский и корейский языки; дополнительное постобучение особенно ориентировано на технические ответы на корейском.
SuperQwen-2.5-1.5B — объединённая плотная языковая модель семейства Qwen2, созданная сообществом с помощью mergekit и метода TIES. В качестве основы использована Qwen/Qwen2.5-1.5B-Instruct; в объединение также вошли Qwen2.5-Coder-1.5B-Instruct и Qwen2.5-Math-1.5B-Instruct. Модель содержит 1,5 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и диалогов; объединение инструктивной, программной и математической моделей ориентировано на широкий круг запросов, включая код и математику. В метаданных также отмечен интерфейс вызова инструментов. Опубликованные веса представлены в формате safetensors. Карточка не сообщает лицензию и не приводит отдельные оценки качества; результаты для задач программирования и математики могут зависеть от запроса и требуют проверки.
Trinity-2-Codestral-22B-v0.2 — модель для программирования из серии Trinity, созданной Migel Tissera. Это дообученная версия Codestral-22B-v0.1 от Mistral AI: плотная авторегрессионная модель семейства Mistral с 22 млрд параметров. Она предназначена для генерации кода и диалоговых запросов; метаданные указывают поддержку чата и контекст до 32 768 токенов. Для общения используется формат ChatML. В README приведены результаты оценки на Open LLM Leaderboard, включая средний балл 21,87, IFEval 43,45 и BBH 37,61; полного набора результатов в доступной карточке нет. Языки программирования и естественные языки отдельно не перечислены. Лицензия указана как other, поэтому условия использования следует проверять в файлах репозитория.
Tulu 7B — языковая модель Allen Institute for AI (AI2), полученная дообучением LLaMA 7B на смеси наборов инструкций FLAN V2, CoT, Dolly, OpenAssistant 1, GPT4-Alpaca, Code-Alpaca и ShareGPT. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров, представленная в формате PyTorch и рассчитанная на контекст до 2048 токенов. Модель предназначена для генерации ответов на инструкции и диалоговые запросы, а также для задач общего рассуждения и генерации кода. В карточке приведены результаты оценки на тестах знаний, математики, рассуждений, вопросов и ответов и программирования. Для работы требуется исходная модель LLaMA в формате Hugging Face; Tulu 7B опубликована как разность весов, а вход нужно подавать в предусмотренном моделью формате с инструкцией и разделителями. Модель ориентирована на английский язык. Она лицензирована по лицензии AI model license вместе с исходной лицензией LLaMA; условия обеих лицензий следует учитывать при использовании. Контекст ограничен 2048 токенами, а качество генерации зависит от соблюдения формата входа.
Wukong-0.1-Mistral-7B-v0.2 — чат-модель, созданная RESMPDEV путём дообучения Mistral-7B-v0.2 от Mistral. Она предназначена для диалогов и генерации ответов по инструкциям; обучение проводилось на OpenHermes-2.5, наборах данных для кода от Multimodal Art Projection и наборе Dolphin от Cognitive Computations. Модель использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров, принимает текст и рассчитана на контекст до 32 768 токенов. Репозиторий содержит веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Автор описывает настройку как «dealigned», но не уточняет её практический эффект; примеры выходов в карточке не приведены.
jondurbin/airoboros-65b-gpt4-1.3 — плотная языковая модель семейства LLaMA с 65 млрд параметров, дообученная автором методом QLoRA на синтетических инструкциях, созданных GPT-4. Она предназначена для диалогов с ассистентом, выполнения инструкций, генерации кода и ответов с рассуждением перед итоговым ответом. Для общения используется шаблон Vicuna с ролями USER и ASSISTANT; модель принимает текст и генерирует текст. Указанная длина контекста — 2048 токенов. README предупреждает о проблемах в этой версии и рекомендует использовать её с осторожностью или дождаться версии 1.4. Модель распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.
Карточка модели Oscilla/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.
Карточка модели squ0sh/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.
Charm 15 — текстовая генеративная модель на архитектуре Mistral с 2,1 млрд параметров, опубликованная ZeppelinCorp. По карточке она предназначена для диалоговой генерации, рассуждений, решения математических задач и написания кода. Модель дообучена на mattshumer/mistral-8x7b-chat; метаданные указывают формат SafeTensors и контекст до 4096 токенов. В README заявлены мультимодальные возможности для текста и изображений, однако архитектура и назначение репозитория описывают только текстовую генерацию, поэтому обработка изображений не подтверждена. Метаданные содержат широкий набор языковых тегов, а карточка перечисляет многоязыковую поддержку; основные языки не выделены. Лицензия — MIT. README также заявляет оптимизацию для ONNX и TensorFlow Lite, но эти форматы не подтверждены метаданными репозитория.
Карточка модели jinreiyu/cloned-Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.
CrystalMistral — разговорная языковая модель на архитектуре Mistral-7B, разработчик — Crystalcareai. Модель дообучена на смесях Evol-Instruct, Airoboros, OpenOrca и синтетических данных GPT-4; в репозитории указаны веса Safetensors, около 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для диалогов, выполнения инструкций, генерации и объяснения кода, а также свободной генерации текста. Карточка заявляет навыки рассуждения и работы с фактами, но не приводит независимых оценок качества или подробностей о языковом покрытии. Лицензия в доступных данных не указана.
unsloth/DeepSeek-R1-0528-Qwen3-8B-unsloth-bnb-4bit — это 4-битная версия модели DeepSeek-R1-0528-Qwen3-8B, опубликованная Unsloth и основанная на модели DeepSeek AI. Модель предназначена для диалоговых сценариев и задач, требующих рассуждений, включая математику, программирование и общую логику. Она поддерживает режимы с рассуждением и без него и работает через библиотеку Transformers. Модель имеет размер 8B параметров, однако README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекста. По заявленным данным, обновление DeepSeek-R1-0528 улучшает глубину рассуждений и результаты на сложных задачах; в частности, точность на AIME 2025 выросла до 87,5%. Для режима рассуждений не рекомендуется использовать жадное декодирование, поскольку это может снижать качество и приводить к повторениям. Для запуска требуется соблюдать рекомендованный шаблон чата и параметры генерации. Модель распространяется под лицензией MIT. README не приводит подробностей о возможных ограничениях качества, безопасности или применимости в критически важных сценариях.
DeepSeek-V4-Flash-0731-AWQ — это квантизированная сборка базовой модели deepseek-ai/DeepSeek-V4-Flash-0731, подготовленная в формате AWQ для запуска на компьютерах Apple Silicon через oMLX. Исходная модель представляет собой MoE-архитектуру с 304 млрд параметров, 43 слоями, 256 маршрутизируемыми экспертами на слой, механизмами Hyper-Connections и HISA attention; в README разработчик исходной модели не указан, а автор данной квантизированной сборки также не идентифицирован. Модель предназначена для генерации текста, диалоговых и агентских сценариев, решения математических задач и генерации кода. В сборке маршрутизируемые эксперты квантизированы до 2–3 бит, а attention, общие эксперты, embeddings и head оставлены в 8-битном формате. Основная часть содержит 278,6 млрд квантизированных параметров и занимает около 101,4 ГБ; вместе с квантизированным MTP/DSpark speculative drafter общий размер составляет около 108,2 ГБ. Поддерживаются режимы reasoning_effort low, high и max. Языки и максимальная длина контекста в README не указаны. Сильными сторонами являются возможность запуска очень крупной MoE-модели на одной системе Apple Silicon, высокая скорость генерации около 47–51 токена в секунду на M5 Max с 128 ГБ памяти, а также хорошие результаты на GSM8K и HumanEval — 93,5% и 87,2% соответственно. Главные ограничения связаны с агрессивной 2/3-битной квантизацией: на MMLU сборка получила 64,5% против 81,5% у неквантизированного учителя, то есть потеряла 17 процентных пунктов в задачах на широкий массив знаний. Для длинного контекста рекомендуется 4- или 6-битная квантизация KV-кэша; без специализированных ядер oMLX предварительное заполнение длинного контекста может работать значительно медленнее. Модель распространяется по лицензии, обозначенной как other с именем лицензии deepseek. Полные условия лицензии в README не приведены.
netcat420/DEFUNCT-EXPERIMENT2_2 — слитая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES на основе Qwen/Qwen2.5-Math-7B с добавлением весов DeepSeek-R1-Distill-Qwen-7B и Qwen2.5-Coder-Scholar-7B-Abliterated-MFANN-Slerp-Unretrained. Модель содержит 7,1 млрд параметров, использует формат safetensors и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации текста и диалогов; состав базовых моделей указывает на сценарии с математическими рассуждениями и программированием. В метаданных также отмечен интерфейс вызова инструментов. Языки обучения или поддерживаемые естественные языки в доступных данных не определены. Это экспериментальный merge, поэтому качество и устойчивость поведения могут отличаться от исходных моделей. Лицензия в предоставленных данных не указана.
Eurus-7B-SFT — дообученная авторами проекта Eurus языковая модель на базе Mistral-7B для диалогов и решения задач с рассуждением. Модель обучена на корректных действиях из UltraInteract с небольшой долей примеров UltraChat, ShareGPT и OpenOrca. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Она предназначена для генерации текста, включая диалоговые ответы, программирование и математические задачи; для кода и математики в карточке приведены специальные форматы подсказок. Контекст — до 32 768 токенов. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. В README заявлено, что модель превосходит открытые модели сопоставимого размера и в ряде случаев специализированные модели, однако независимые результаты в предоставленных материалах не приведены. Карточка не сообщает о поддерживаемых естественных языках или иных ограничениях.
EXAONE-Deep-7.8B — плотная языковая модель для рассуждений, разработанная LG AI Research. Она предназначена для генерации ответов и решения задач на рассуждение, включая математику и программирование; поддерживает диалоговый режим. Модель дообучена на EXAONE-3.5-7.8B-Instruct и содержит 7,4 млрд параметров. Архитектура — ExaoneForCausalLM с 32 слоями и групповым запросом внимания (32 Q-головы и 8 KV-голов); длина контекста — 32 768 токенов. Модель рассчитана прежде всего на английский и корейский языки. Для запуска рекомендуются Transformers версии 4.43.1 или новее; также перечислены TensorRT-LLM, vLLM, SGLang, llama.cpp, Ollama и LM Studio. В репозитории доступны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в самой карточке и сопутствующей документации. Модель может выдавать неточные, устаревшие, предвзятые или неподходящие ответы; результаты требуют проверки.
Карточка модели OpenLLM-Korea/EXAONE-Deep-7.8B на Hugging Face совпадает с карточкой LGAI-EXAONE/EXAONE-Deep-7.8B, поэтому описание составлено по ней. EXAONE-Deep-7.8B — плотная языковая модель для рассуждений, разработанная LG AI Research. Она предназначена для генерации ответов и решения задач на рассуждение, включая математику и программирование; поддерживает диалоговый режим. Модель дообучена на EXAONE-3.5-7.8B-Instruct и содержит 7,4 млрд параметров. Архитектура — ExaoneForCausalLM с 32 слоями и групповым запросом внимания (32 Q-головы и 8 KV-голов); длина контекста — 32 768 токенов. Модель рассчитана прежде всего на английский и корейский языки. Для запуска рекомендуются Transformers версии 4.43.1 или новее; также перечислены TensorRT-LLM, vLLM, SGLang, llama.cpp, Ollama и LM Studio. В репозитории доступны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в самой карточке и сопутствующей документации. Модель может выдавать неточные, устаревшие, предвзятые или неподходящие ответы; результаты требуют проверки.
grug-9b — дообученная ProCreations версия dense-модели Ornith-1.0-9B семейства Qwen3.5 с 9 млрд параметров. Модель предназначена для генерации текста и кода, диалогов и сценариев с агентами и вызовами инструментов. Дообучение на датасете ProCreations/grug-think учит модель формулировать рассуждения кратко: по данным автора, медианная длина рассуждения в датасете составляет 11 слов, а в тестах модели сократилось число токенов рассуждения. В сравнительных тестах автора grug-9b быстрее исходной модели и показывает близкий результат на MBPP, но уступает на HumanEval; корректность формата вызовов инструментов в тесте снизилась с 100% до 88,9%. Заявлена поддержка обработки изображений благодаря сохранённой vision tower, однако метаданные относят модель к генерации текста, поэтому качество зрительных задач по этим сведениям оценить нельзя. Для запуска требуется Transformers версии 5.8 или новее. Лицензия — MIT.
OpenAssistant Llama2 70B SFT v10 — языковая модель OpenAssistant, дообученная на базе Meta Llama 2 70B. Это плотный авторегрессионный трансформер с декодером, примерно 68,7 млрд параметров; обучение проходило в два этапа: на смеси синтетических инструкций и задач по программированию, затем на отобранных человеческих диалогах OpenAssistant. Модель принимает диалог в формате ChatML и предназначена для генерации ответов, следования инструкциям и помощи с кодом. Контекст составляет 4096 токенов. Основной язык — английский; заявлены ограниченные возможности на немецком, испанском, французском, итальянском, португальском, польском, нидерландском, румынском, чешском и шведском. Сильные стороны — крупный размер и обучение на инструкциях, диалогах и коде. Ответы могут быть неточными, предвзятыми или нежелательными; тестирование проводилось преимущественно на английском, поэтому перед применением нужна проверка безопасности и качества. Модель распространяется по лицензии Llama 2 Community License Agreement.
brittlewis12/Llama-3.1-Tulu-3.1-8B-GGUF — это квантизированная версия языковой модели Tülu 3.1 8B, разработанной Allen Institute for AI (AI2) на базе Llama 3.1. Модель предназначена для генерации текста и следования инструкциям в диалоговых и прикладных сценариях, включая общение, решение математических задач, ответы на вопросы, выполнение заданий с ограничениями и генерацию кода. Указан английский язык. Модель использует архитектуру Llama и содержит около 8 миллиардов параметров. Она распространяется в формате GGUF для запуска с совместимыми инструментами, включая llama.cpp, в том числе локально на устройствах. В версии Tülu 3.1 был улучшен финальный этап обучения с переходом от PPO к GRPO без reward model и дополнительной настройкой гиперпараметров. В README не указан размер контекстного окна и не описаны конкретные схемы квантизации представленных файлов. Сильными сторонами модели являются следование инструкциям, математические рассуждения, выполнение заданий с формальными ограничениями и ответы на вопросы; согласно приведённым оценкам, особенно высокие результаты показаны в GSM8K, IFEval, DROP и BigBenchHard. Ограничениями являются ориентация преимущественно на английский язык, меньший размер по сравнению с крупными моделями и возможные потери качества, связанные с квантизацией. Модель распространяется по лицензии llama3.1.
Llama-3.2-6B-AlgoCode — текстовая плотная авторегрессионная модель семейства Llama, опубликованная prithivMLmods и предназначенная для генерации кода и решения алгоритмических задач. В карточке заявлены обучение следованию инструкциям, многоязычный диалог, суммаризация и ответы с опорой на извлечённые внешние сведения. Метаданные указывают 5,8 млрд параметров, контекст до 131 072 токенов, формат Safetensors и библиотеку Transformers; модель принимает и выдаёт текст. README также упоминает варианты размером 1B и 3B, что расходится с идентификатором и размером этой модели. Модель подходит для генерации и объяснения кода, алгоритмических рассуждений, диалоговых помощников для разработки и суммаризации предоставленных материалов. В карточке заявлена поддержка нескольких языков, а метаданные указывают английский; другие языки не перечислены. Указаны лицензия Llama 3.2 и возможность интеграции через Transformers. README предупреждает о возможных ошибках на неоднозначных запросах, предвзятости, устаревших знаниях и нежелательных ответах; для специализированных медицинских, юридических и финансовых задач может потребоваться дообучение. Для эффективного запуска, согласно карточке, рекомендуется GPU с памятью от 16 ГБ.