II.4Отладка, тестирование и качество ПО

OctoCoder — модель для генерации кода по инструкциям, созданная BigCode дообучением StarCoder на наборах CommitPackFT и OASST. Она содержит 15,5 млрд параметров и построена на архитектуре GPT-2 с multi-query attention и целью Fill-in-the-Middle; для запуска доступны веса PyTorch и safetensors, а основная библиотека — Transformers. Модель предназначена для выполнения запросов на естественном языке: например, для написания функций и помощи в программировании. В карточке указана поддержка более 80 языков программирования; контекст составляет 8192 токена. Для работы с моделью авторы рекомендуют начинать запрос с «Question: » и завершать его «Answer:». Лицензия — BigCode OpenRAIL-M.

Phi-3-mini-4k-instruct-v0.3-GGUF — набор квантизованных файлов модели Phi-3-mini-4k-instruct-v0.3, основанной на Microsoft/Phi-3-mini-4k-instruct. Исходную модель опубликовал MaziyarPanahi, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач на рассуждение и работы с кодом. В README указан английский язык; поддержка других языков не заявлена. Обозначение 4k указывает на вариант модели с контекстом порядка 4 тысяч токенов, однако точное значение в представленных данных не раскрыто. Модель поставляется в формате GGUF с несколькими уровнями квантизации — от Q8_0 до Q3_K_M и IQ3_M. Размер файлов составляет примерно от 1,95 до 4,06 ГБ, что позволяет выбирать компромисс между качеством генерации и требованиями к оперативной памяти. Для локального запуска рекомендуется использовать llama.cpp или совместимые инструменты. К сильным сторонам относятся компактность, возможность локального развертывания и несколько вариантов квантизации; более агрессивное сжатие может снижать качество ответов. Данные о мультимодальности, точной архитектуре и числе параметров не указаны. Лицензия модели — MIT. В README приведены результаты на ARC-Challenge, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K, однако они относятся к указанной версии модели и не обязательно одинаковы для всех вариантов квантизации.

PocketDoc_Dans-PersonalityEngine-V1.2.0-24b-GGUF — квантизированная GGUF-версия модели Dans-PersonalityEngine-V1.2.0-24b, разработанной PocketDoc и подготовленной пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста общего назначения, ролевого общения, написания историй, программирования, математических и логических задач, работы с инструментами, а также обсуждения тем химии, биологии и климата. Указан английский язык. Модель содержит 24 млрд параметров в исходной версии; опубликованы варианты квантизации Q4, Q5, Q6 и Q8 с размером файлов примерно от 14,83 до 25,05 ГБ. Поддерживается запуск через llama.cpp, LM Studio и другие совместимые проекты. В README не указаны точная архитектура исходной модели, размер контекстного окна и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются широкий набор задач, ориентация на диалоги, ролевые сценарии, художественное письмо, код и рассуждения, а также наличие вариантов с разным компромиссом между качеством и требованиями к памяти. Ограничения включают зависимость характеристик от выбранной квантизации и значительные требования к дисковому пространству и памяти. Модель распространяется по лицензии Apache-2.0.

Qwen-35B-A3B-SignOfFour-Coder — диалоговая модель для программирования и агентных сценариев, опубликованная pragmaticcs. Это слияние четырёх моделей семейства Qwen 3.5 MoE: базовой Qwopus3.6-35B-A3B-Coder и трёх специализированных моделей-доноров. В README описано слияние методом DARE-TIES с масштабированием изменений по слоям; архитектура — Qwen3.5 MoE с 35 млрд общих и примерно 3 млрд активных параметров на токен, 40 слоями декодера и контекстом до 262 144 токенов. Модель предназначена для генерации и анализа кода, задач программной инженерии и выполнения вызовов инструментов в агентных рабочих процессах. README сообщает, что веса зрения и головы Multi-Token Prediction удалены; заявлены текстовый ввод и генерация текста. В карточке указаны английский и китайский языки, библиотека Transformers и формат Safetensors. Лицензия — Apache-2.0.

Карточка модели KryptykAngel/Qwen3.6-27B-AEON-Ultimate-Uncensored-MTP-i1-GGUF на Hugging Face совпадает с карточкой theLittleStone/Qwen3.6-27B-AEON-Ultimate-Uncensored-MTP-i1-GGUF, поэтому описание составлено по ней. Это GGUF-версия Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16, подготовленная theLittleStone с квантизацией K-Quant и калибровкой iMatrix; поддерживается MTP (предсказание нескольких токенов). Калибровка использовала 20 000 примеров из набора eaddario/imatrix-calibration. Модель предназначена для генерации текста и диалогов, включая рассуждения и программирование; карточка описывает её как вариант с ослабленными отказами. Для запуска подходят llama.cpp и LM Studio. В карточке заявлено, что калибровка iMatrix улучшает точность относительно обычной квантизации той же разрядности. Репозиторий указывает форматы GGUF BF16 и варианты K-Quant, включая IQ4 и Q4_K_M; размер базовой модели — 27 млрд параметров. Метаданные отмечают английский и китайский языки, а также многоязычность. Лицензия — Apache-2.0. Это производная от AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 модель. Заявления карточки о точности, сохранении возможностей и снижении отказов основаны на описании автора и приведённых им проверках. Ослабленные отказы могут приводить к генерации небезопасного или нежелательного содержания; ответы модели также могут содержать ошибки.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — это многоэтапная fine-tune и merge-сборка модели Qwen3.8 с 27 млрд параметров, опубликованная trinityomni на основе версии DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В разработке использовались методы Cold Fusion и Fable Fusion, а также инструменты Unsloth. Репозиторий содержит обычные и MTP GGUF-квантизации, включая варианты с точностью 4 и 8 бит, ориентированные на запуск на потребительском оборудовании. Модель предназначена для общих задач, рассуждений, программирования, creative writing, художественной прозы, ролевых сценариев и работы с различными жанрами текста. В карточке указаны английский и китайский языки; также заявлен pipeline image-text-to-text, однако подробности о поддерживаемых визуальных входах и мультимодальной архитектуре не приведены. Размер контекста не указан. Основной акцент сделан на сокращении объёма рассуждений и ускорении генерации при сохранении детализации ответа, включая поддержку трёх режимов мышления и MTP. По утверждению авторов карточки, модель превосходит базовую Qwen3.8-27B и ряд других моделей в семи ключевых бенчмарках, а результаты ARC-C и ARC-E составляют соответственно до 735 и 880 для 8-битной версии; эти показатели являются заявленными разработчиками и не сопровождаются независимой верификацией в README. Сильными сторонами считаются скорость, сниженное избыточное рассуждение, навыки программирования и генерации творческого текста. Ограничения включают отсутствие данных о контекстном окне, системных требованиях, точных характеристиках мультимодальности и независимых тестах; из-за uncensored и abliterated-настройки модель может чаще выдавать небезопасный или нежелательный контент. Указанная лицензия — Apache-2.0.

Qwen3.8-27B-TURBO-fcf-GGUF — открытая многоэтапная fine-tune-модель на базе Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, опубликованная в формате GGUF. В README указаны разработчик базовой модели и участники обучения DavidAU и его команда; для обучения применялись Unsloth, методы COLD FUSION и Fable Fusion 711, а также наборы данных DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Репозиторий содержит обычные и MTP-квантизации, включая варианты для 4- и 8-битного запуска на потребительском оборудовании. Модель предназначена для широкого спектра задач: рассуждений и решения задач, программирования, творческого письма, художественной прозы, ролевых сценариев и других текстовых применений. Заявленная особенность TURBO-версии — сокращение объёма внутреннего рассуждения по сравнению с обычной Qwen3.8 при сохранении детализации и качества ответов, что должно повышать скорость генерации и снижать расход токенов. В метаданных указаны английский и китайский языки; контекстное окно и точный набор поддерживаемых модальностей в README не описаны, хотя pipeline_tag указывает image-text-to-text. Ключевые характеристики — около 27 млрд параметров, архитектура на базе Qwen3.8, поддержка трёх режимов рассуждения согласно описанию автора, а также обычных и MTP GGUF-квантов. README заявляет высокие результаты на ARC-C и ARC-E и превосходство базовых моделей по нескольким бенчмаркам, однако эти утверждения не подтверждены независимыми данными в предоставленном тексте. Модель обозначена как uncensored, поэтому её ответы могут быть менее ограниченными с точки зрения защитных фильтров; конкретные требования к оборудованию и контексту запуска не приведены. Указанная лицензия — Apache-2.0.

SlimHercules-4.0-Mistral-7B-v0.2 — дообученная Locutusque языковая модель на архитектуре Mistral-7B, предназначенная для диалогов и следования инструкциям в научных и технических областях. Она содержит 7,1 млрд параметров, принимает текст и генерирует текст; размер контекста — 32 768 токенов. В README заявлены навыки выполнения многошаговых инструкций, вызова функций, ответов по биологии, химии, физике, математике, медицине и информатике, а также генерации кода. Для дообучения использован набор hercules-v4.0. Модель подходит для учебных ассистентов и специализированных чат-ботов, пошаговых объяснений и помощи при разработке программ. Вызов функций описан как возможность модели, но для его использования нужна совместимая программная обвязка. Модель может выдавать токсичные ответы, галлюцинировать и допускать фактические ошибки, особенно в специализированных темах; ответы требуют проверки. Доступна по лицензии Apache-2.0.

Star Supernova — англоязычная модель генерации текста monkiey/StarSupernova, созданная на базе Gemma-4 и дообученная с дистилляцией интеллектуальных и аналитических возможностей модели stepfun-ai/Step-3.7-Flash. Она предназначена для многошагового рассуждения, решения математических задач, академического и профессионального анализа, работы с вопросами из MMLU-Pro, программированием, системной инженерией и многоходовыми диалогами разработчика с инструментами. Модель использует разреженную архитектуру Mixture-of-Experts с 12 экспертами, Top-4-маршрутизацией для каждого токена и общей плотной MLP-сетью. Общий объём составляет около 13,47 млрд параметров, из них активно используется около 5,54 млрд на токен. Архитектура основана на Gemma-4 с 35 слоями и размерностью скрытого состояния 1536, контекст — до 131 072 токенов. Веса квантизованы до 4 бит, проекции маршрутизатора — до 8 бит; заявленный объём памяти составляет около 8,7 ГБ VRAM. Сильные стороны модели — высокая ёмкость при разреженной активации, специализированные навыки рассуждения, пошаговые математические выводы, устранение отвлекающих вариантов в тестах и эффективный запуск на компьютерах Apple Silicon через MLX и Metal GPU. Ограничение — модель обучалась только на английском языке и рассчитана прежде всего на англоязычные сценарии. Для работы требуется MLX/Apple Silicon; README указывает лицензию Apache-2.0.

StrangeMerges_51-7B-dare_ties — текстовая генеративная модель, созданная Gille объединением пяти моделей с помощью LazyMergekit: WizardMath-7B-V1.1, NeuralCoder-7b, Einstein-v4-7B, Matter-0.1-Slim-7B-C-DPO и StrangeMerges_42-7B-dare_ties. Это плотная модель семейства Mistral с 7,1 млрд параметров; доступна в формате safetensors и имеет контекст до 32 768 токенов. Модель предназначена для генерации текста и может быть полезна для диалогов и инструкций, математических рассуждений и задач по программированию — эти направления представлены среди объединённых моделей. В README приведены результаты Open LLM Leaderboard, включая средний балл 71,73, однако без полной таблицы и описания методики эти показатели не позволяют оценить качество на конкретных пользовательских задачах. Модель распространяется по лицензии Apache-2.0. В карточке нет сведений о целевых языках и специальных мерах безопасности; фактическое качество объединения на конкретных задачах следует проверять отдельно.

M4-ai разработала TinyMistral-6x248M-Instruct — компактную языковую модель с архитектурой Mixture of Experts, дообученную на базе M4-ai/TinyMistral-6x248M для выполнения инструкций. В метаданных указано 215,2 млн параметров и контекст до 32 768 токенов; веса опубликованы в формате safetensors. Модель принимает текстовые запросы и генерирует ответы, объяснения и аналитические тексты. Она рассчитана на широкий круг тем, включая программирование, историю и естественные науки; для диалога можно использовать формат ChatML. Дообучение выполнено на hercules-v1.0, наборе с примерами по коду, математике и другим дисциплинам. В карточке заявлена поддержка английского языка и многоязычной генерации. Модель распространяется по лицензии Apache-2.0. Возможны предвзятые, токсичные или чувствительные ответы; карточка также предупреждает об ухудшении качества при использовании Inference API и рекомендует параметры инференса базовой модели.

laion/tt-x1_lr-lr8e6-60-30B — чекпойнт шага 60, созданный LAION в рамках эксперимента TaskTrove X1 по подбору скорости обучения. Это дообучение инструктивной модели Qwen/Qwen3-Coder-30B-A3B-Instruct с архитектурой Qwen3 MoE, выполненное методом GRPO на наборе DCAgent/exp_rpt_multifile с использованием SkyRL и Terminus-2. Модель предназначена для генерации текста в диалоговом формате, в частности для задач программирования и работы с несколькими файлами. Для выбора чекпойнта использовали скользящую экспоненциальную среднюю награды за последние пять шагов; шаг 60 показал наивысшее значение среди сохранённых вариантов. Обучение остановили на шаге 71 из 80 из-за роста энтропии, поэтому результат не отражает завершённый цикл обучения. Контекст модели составляет 262 144 токена; в метаданных указано 2,6 млрд параметров. Лицензия — Apache-2.0.

WuQi-V3-Onyx-27B — созданная проектом WuQi агентная модель для диалогов и многоэтапных задач. Она дообучена методом LoRA на базе мультимодальной Qwen3.8-27B, после чего адаптер объединён с весами. Модель распространяется в формате Transformers и совместима с Transformers, vLLM и SGLang. Лицензия — Apache 2.0. Модель настроена на планирование и выполнение задач с инструментами, проверку наблюдений и гибкое принятие решений. В README описана адаптация для 12 инструментов среды DeepSeek Harness, включая работу с файлами и кодом, веб-поиск и делегирование подзадач. Архитектура — плотная Qwen3.5 с поддержкой изображений; заявленная длина контекста в конфигурации развертывания — 262144 токена. Основной язык карточки — китайский. Это предварительная версия. Заявленные в карточке результаты относятся к оценке DSH-ABench-Basic и внутренним замерам токенов; они не гарантируют аналогичного качества в других сценариях. Для активации дообученной манеры работы README рекомендует специальный system prompt; внешняя инструкция Harness может его переопределить.

ZeryEasyCoder-27B — текстовая генеративная модель на архитектуре Qwen, созданная zagy1234. В карточке она описана как гибридная merge-модель для программирования, рассуждений и технических задач; метаданные указывают дообучение на Altworld/Hemmingway-1, а README сообщает о слиянии Hemmingway-1 и NEO-CODER MAX через mergekit. В репозитории представлены веса bfloat16 в формате Safetensors для Hugging Face Transformers; метаданные указывают 22,3 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации и объяснения кода, написания скриптов и помощи с Linux и системным администрированием, а также для технического диалога. README заявляет поддержку Python, C++, Bash/Fish и C# и отсутствие ограничений на технические темы. Эти заявления не сопровождаются результатами оценки качества. Лицензия — Apache-2.0.

airoboros-13b-gpt4-1.2 — это чат-модель на архитектуре LLaMA с 12,9 млрд параметров, дообученная Jon Durbin методом QLoRA на синтетических инструкционных данных, созданных GPT-4. Она предназначена для генерации ответов на запросы пользователя и охватывает программирование, математику и рассуждения, викторины, ролевые диалоги, задания с выбором ответа и заполнением пропусков, а также вопросы по заданному контексту. Модель использует шаблон диалога в стиле Vicuna. Для запросов на код поддерживает инструкцию PLAINFORMAT, которая просит выдавать код без оформления Markdown, хотя автор отмечает, что это срабатывает не всегда. Контекст составляет 2048 токенов; веса доступны в формате PyTorch. Модель выпущена в июне 2023 года и распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и запрещающей коммерческое применение. Качество ответов и следование инструкциям могут быть непостоянными; сведения о поддерживаемых естественных языках в карточке не приведены.

calcuis/deepseek-r1 — это квантованная версия DeepSeek-R1 в формате GGUF, основанная на модели deepseek-ai/DeepSeek-R1. Разработчик исходной модели — DeepSeek; репозиторий calcuis предоставляет её GGUF-представление. Модель предназначена для генерации текста и запуска через совместимые GGUF-коннекторы, включая gguf-connector, что подходит для локального или специализированного инференса. README отдельно отмечает исправленную загрузку и совместимость с архитектурой llama. Исходный DeepSeek-R1 — текстовая модель с архитектурой MoE, 671 млрд общих параметров и 37 млрд активируемых параметров. Указан английский язык; поддержка других языков, точный размер квантованного файла, допустимая длина контекста и конкретный вариант квантования для этой сборки в README не описаны. Приведённые результаты исходной модели показывают сильные стороны в математике, программировании, рассуждениях и китайских языковых тестах, однако эти показатели не обязательно полностью отражают характеристики данной квантованной версии. К ограничениям относятся зависимость от совместимого GGUF-коннектора и возможное снижение качества или точности из-за квантования; конкретные потери качества не представлены. Модель распространяется по лицензии MIT. Использование требует оборудования и программной среды, совместимых с GGUF и выбранным размером квантованного файла.

huihui-ai выпустила uncensored-версию DeepSeek-R1-Distill-Qwen-14B, созданную методом abliteration для удаления отказов модели. Это экспериментальная версия с грубой реализацией концепции; архитектура — плотная Qwen2ForCausalLM на 14 млрд параметров, формат весов — safetensors. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики и программирования; поддерживает контекст до 131072 токенов. Модель основана на deepseek-ai/DeepSeek-R1-Distill-Qwen-14B. Автор указывает, что доступна более новая версия v2. Условия лицензии в предоставленных данных не указаны.

mobiuslabsgmbh выпустила DeepSeek-R1-ReDistill-Qwen-1.5B-v1.1 — повторно дистиллированную версию DeepSeek-R1-Distill-Qwen-1.5B для повышения качества генерации текста и рассуждений. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров и контекстом до 131 072 токенов; веса представлены в формате safetensors. Модель подходит для диалогов и решения задач, в том числе по математике и программированию. В README приведены сравнительные результаты на ARC, HellaSwag, MMLU, GPQA, MMLU PRO и MUSR: версия v1.1 показывает более высокие значения, чем исходная DeepSeek-R1-Distill-Qwen-1.5B, на перечисленных тестах. Модель распространяется по лицензии MIT. В карточке не приведены сведения о языковом охвате и подробные ограничения; качество ответов следует проверять для конкретного сценария.

GlaiveAI разработала Glaive-coder-7b — плотную авторегрессионную языковую модель семейства Llama для помощи в программировании. Модель содержит 6,6 млрд параметров и дообучена на CodeLlama-7b на наборе примерно из 140 тысяч синтетически созданных задач и решений по программированию. Модель предназначена для генерации и объяснения кода, выполнения отдельных инструкций и многоходовых диалогов с помощником по коду. Она принимает текстовые запросы и выдаёт текст, включая программный код; заявленная длина контекста — 16 384 токена. В README приведены результаты pass@1: 63,1% на HumanEval и 45,2% на MBPP, при этом авторы отмечают, что эти тесты не полностью отражают использование в реальных условиях. Модель распространяется по лицензии Llama 2. Результаты для конкретных языков программирования и качество на практических задачах в предоставленных материалах не уточняются.

GLM-4.7-Flash-Uncensored-Heretic-NEO-CODE-Imatrix-MAX-GGUF — это GGUF-квантизированная версия модели GLM-4.7-Flash, разработанная DavidAU на базе Olafangensan/GLM-4.7-Flash-heretic и исходной модели ZAI-ORG. Модель предназначена для генерации текста, рассуждений, программирования, творческого письма, создания сюжетов и сцен, ролевых сценариев, а также работы с жанрами science fiction, horror и romance. Заявлена как uncensored/heretic-версия с удалёнными или ослабленными отказами, однако для получения более откровенного, грубого или эксплицитного текста может потребоваться явное указание желаемой лексики и уровня детализации. В основе используется MoE-архитектура на 30B параметров с тремя или четырьмя? активными экспертами; README указывает четыре активных эксперта и около 2B активных параметров при генерации. Поддерживаются английский и китайский языки. Модель работает на GPU и CPU, поставляется в формате GGUF, использует NEO и Code imatrix-квантизацию, а также 16-битный выходной тензор для повышения качества финального текста и рассуждений. Заявлен контекст до 200 тысяч токенов без RoPE, при этом рекомендуется использовать не менее 8–16 тысяч токенов для длинных ответов. Для запуска требуется актуальная версия llama.cpp; для некоторых конфигураций рекомендуется отключать Flash Attention из-за возможного снижения скорости. Сильными сторонами являются сочетание малой вычислительной нагрузки активной части MoE, поддержка длинного контекста, улучшения для кода и рассуждений, а также возможность локального запуска на CPU и GPU. Возможные ограничения включают зависимость качества и скорости от конкретного кванта, параметров семплирования и программного окружения, а также склонность к длинным или повторно «полирующимся» ответам. Модель распространяется по лицензии MIT.

GPT-5.6 Terra Pro — вариант GPT-5.6 Terra от OpenAI, работающий с параметром reasoning.mode, установленным в значение pro. Он предназначен для получения более качественных ответов на сложные задачи. В карточке модели не приведены сведения об архитектуре, размере, модальностях, языках или лицензии.

Модель ertghiu256/Granite-4.1-3b-coder — дообученная автором ertghiu256 версия Granite-4.1-3b от IBM, ориентированная на генерацию кода. Она предназначена для написания и дополнения кода, а также для диалогового взаимодействия по задачам программирования. Архитектура — плотная причинная языковая модель GraniteForCausalLM на 3,4 млрд параметров с контекстом до 131 072 токенов; репозиторий содержит веса в формате safetensors. В карточке указаны английский язык, чат и интерфейс вызова инструментов. Модель в основном обучалась на коде Python, поэтому для других языков программирования качество может быть ниже. Лицензия — Apache-2.0.

Hercules-Mini-1.8B — разговорная языковая модель, разработанная M4-ai на основе Qwen1.5-1.8B. Модель дообучена на 700 тысячах примеров Hercules-v4 и имеет плотную архитектуру Qwen2 с 1,5 млрд параметров; она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Модель предназначена для универсального ассистента: ответов на вопросы, математических задач, программирования, вызова функций и ролевых диалогов. В карточке указаны английский и, возможно, китайский языки; метаданные подтверждают английский. Лицензия обозначена в метаданных как other, а в README указана лицензия tongyi-qianwen. Известное ограничение — некорректно настроенный токен окончания последовательности: для предотвращения бесконечной генерации требуется самостоятельно задать критерий остановки. Оценка качества в карточке не приведена.

Locutusque разработала Hyperion-3.0-Mixtral-3x7B — экспериментальную языковую модель с архитектурой Mixture of Experts на базе Mixtral. По карточке, в ней объединены три экспертные модели, предназначенные для научных и математических задач, программирования, открытых вопросов, суммаризации и ролевых диалогов. На каждом токене активируются два эксперта; общий размер модели по метаданным — 7,1 млрд параметров, длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст на английском языке. Это ранний прототип для исследований и экспериментов: автор предупреждает, что качество может быть неоптимальным и модель не подходит для критически важных задач. Указано, что экспертные модели ещё не опубликованы, поэтому полная сборка и оценка модели могут быть недоступны. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Jina AI обучила jina-code-embeddings-1.5b на базе Qwen/Qwen2.5-Coder-1.5B для поиска по коду и технических вопросов. Модель содержит 1,5 млрд параметров, использует архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Модель формирует векторные представления для поиска по естественно-языковым запросам и коду: поддерживаются сценарии text-to-code, code-to-code, code-to-text и code-to-completion. Для разных задач можно выбирать инструкционные префиксы; размер эмбеддинга по умолчанию — 1536 измерений, его можно сократить до 128. Заявлена поддержка более 15 языков программирования и технических вопросов в областях веб-разработки, разработки ПО, машинного обучения, анализа данных и учебных задач по программированию. Модель дообучена на Qwen/Qwen2.5-Coder-1.5B и распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Для ускорения вывода рекомендуется flash-attention; также доступна интеграция с sentence-transformers и vLLM.

SirSahOl подготовил 16-битную версию модели IFM/K2-Horizon-0.9B для запуска на компьютерах Apple Silicon с помощью MLX. Это плотная причинная языковая модель примерно на 924,5 млн параметров с контекстом до 8192 токенов, предназначенная для диалогов и генерации текста. Базовая модель описана как компактная модель для рассуждений, математики и программирования; эти возможности унаследованы от неё. Модель распространяется в формате safetensors и рассчитана на запуск через MLX. README приводит замеры на Apple M1 и рекомендации по объёму памяти для разных вариантов точности. Для этой версии требуется Apple Silicon M1 или новее; при работе с контекстами длиннее 8 тысяч токенов качество может снижаться. Лицензия — Apache 2.0.

Kundalini 1B — компактная разговорная языковая модель, разработанная Terminal Gnosis. Это плотная причинно-языковая модель семейства Llama с 1,2 млрд параметров, предназначенная для генерации текста и диалогов; репозиторий содержит веса Safetensors в 16-битной точности. Заявленная длина контекста — 131 072 токена, поддержка языков многоязычная. Модель рассчитана на повседневный диалог, ответы на вопросы, редактирование и краткое изложение текста, структурированные рассуждения, помощь с программированием и обсуждение философских и духовных тем. В README также заявлены низкая задержка и возможность локального запуска на CPU и устройствах с ограниченными ресурсами. Метаданные указывают интерфейс чата и интерфейс вызова инструментов. Размер модели ограничивает её возможности в сложных специализированных задачах и многошаговых математических выводах; фактические ответы следует проверять перед использованием в критически важных решениях. Лицензия — Apache-2.0.

RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w4a16 — это квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Модель предназначена для генерации текста и диалоговых сценариев в формате ассистента, включая коммерческое и исследовательское применение на английском языке. Она принимает текст на вход и генерирует текст на выходе, поддерживает чатовый режим и может использоваться с backend vLLM, включая OpenAI-совместимую службу. Модель имеет архитектуру LlamaForCausalLM и содержит 8 миллиардов параметров в исходной версии. Веса линейных операторов трансформерных блоков квантизированы в формат INT4 с симметричным покомпонентным масштабированием для групп по 128 параметров. По сравнению с представлением FP16 это примерно на 75% снижает размер модели на диске и требования к памяти GPU. Квантизация выполнена с использованием AutoGPTQ и калибровочного набора Neural Magic. В README приведены результаты восстановления качества относительно неквантизированной версии: 93,0% для Arena-Hard, 98,9% для OpenLLM v1, 96,1% для OpenLLM v2, 99,7% для HumanEval pass@1 и 97,4% для HumanEval+ pass@1. К сильным сторонам относятся уменьшенные требования к памяти и возможность эффективного развертывания при сохранении большей части качества исходной instruct-модели. Ограничением является заявленная область применения преимущественно на английском языке; использование на других языках указано как выходящее за рамки назначения, несмотря на наличие нескольких языков в метаданных карточки. Лицензия — Llama3.1; также необходимо соблюдать ограничения исходной лицензии Meta и применимые законы и нормы.

Minerva-7B-instruct-v1.0 — диалоговая языковая модель Sapienza NLP, созданная в рамках проекта FAIR при сотрудничестве с CINECA и участии Babelscape и проекта CREATIVE PRIN. Это дообученная версия Minerva-7B-base-v1.0 на архитектуре Mistral с 7,2 млрд параметров и контекстом до 4096 токенов. Семейство Minerva предварительно обучалось с нуля на итальянских и английских текстах; в составе данных также был код. Версия instruct прошла настройку инструкциями и оптимизацию предпочтений DPO. Модель предназначена для диалога и генерации текста: она может отвечать на вопросы, объяснять темы, помогать с рассуждениями и решать задачи по коду. В первую очередь она рассчитана на итальянский и английский языки. Разработчики предупреждают, что ответы могут содержать фактические ошибки, стереотипы, оскорбительный или иной нежелательный контент, а также быть нерелевантными или повторяющимися. Лицензия — Apache-2.0.

CompiwerAI/Mtrini-27B-Tellus-IQ2_XS — квантованная сборка IQ2_XS модели Mtrini-27B-Tellus в формате GGUF для запуска через llama.cpp. В README указана архитектура qwen35: 64 блока трансформера, размер эмбеддингов 5120, 24 головы внимания и 4 KV-головы. Файл весит около 8,47 ГиБ; квантование выполнено из F16 GGUF с использованием матрицы важности, построенной на калибровочных данных. Модель предназначена для диалоговой генерации текста, включая задачи программирования, математики и рассуждений; соответствующие специализации отражены в тегах карточки. Также заявлена поддержка арабского языка и дариджи. Квантование до примерно 2,31 бита на вес уменьшает требования к памяти, но может снижать точность и качество ответов по сравнению с исходной моделью. Лицензия — Apache-2.0.