II.7DevOps, облако и эксплуатация IT-систем

QuantFactory/LLaMA3-iterative-DPO-final-GGUF — это неофициальная GGUF-квантизованная версия инструкционной языковой модели LLaMA3-iterative-DPO-final, созданная QuantFactory с использованием llama.cpp на основе модели RLHFlow. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и использование в conversational-приложениях. Модель имеет около 8 млрд параметров и обучена методом Iterative DPO — вариантом онлайн-RLHF, основанным на Direct Preference Optimization. По данным README, обучение проводилось на открытых наборах данных без дополнительной разметки людьми или GPT-4. В опубликованных результатах модель показывает высокие показатели на Alpaca-Eval-V2, MT-Bench и Chat-Arena-Hard, а также на академических тестах GSM-8K, MMLU, HumanEval, TruthfulQA, ARC и MBPP. Конкретный формат квантизации, поддерживаемые языки, длина контекста и точные требования к ресурсам не указаны. К сильным сторонам относятся компактный для инструкционной модели размер, возможность запуска в GGUF-совместимой инфраструктуре и хорошие заявленные результаты в диалоговых, математических, кодовых и общеобразовательных задачах. Ограничения включают неофициальный статус чекпойнта, возможные потери качества из-за квантизации и отсутствие подробных сведений о её параметрах. Указана лицензия llama3; дополнительные условия использования в README не раскрыты.

QuantFactory/Llama-3-Open-Ko-8B-GGUF — квантованная версия модели Llama-3-Open-Ko-8B, созданная с использованием llama.cpp. Базовую модель разработал Junbum Lee (Beomi) на основе Meta Llama 3; она представляет собой продолжительно предобученную авторегрессионную языковую модель с оптимизированной архитектурой Transformer. Модель предназначена для генерации текста и кода, а также для адаптации под различные задачи обработки естественного языка, включая дообучение специализированных и диалоговых моделей. Она принимает только текст и генерирует текст или код. Модель ориентирована прежде всего на английский и корейский языки; для обучения использовались более 17,7 млрд токенов и свыше 60 ГБ дедуплицированных общедоступных текстов. Размер модели — 8B параметров, контекст — до 8 тысяч токенов, поддерживается Grouped-Query Attention (GQA), дата отсечения знаний — июнь 2023 года. К сильным сторонам относятся адаптация Llama 3 к корейскому языку, открытые данные обучения и доступность в квантованном формате, потенциально снижающем требования к ресурсам при локальном запуске. Ограничения заключаются в том, что это статическая офлайн-модель без встроенного обновления знаний и базовая предобученная версия, а не готовая instruction-tuned модель; для диалоговых сценариев и соблюдения требований безопасности может потребоваться дополнительное дообучение и внешние защитные механизмы. Использование регулируется лицензией Llama 3 и соответствующей Acceptable Use Policy; необходимо соблюдать их ограничения и применимое законодательство.

llm-jp-4-33b-thinking-gguf — большая языковая модель серии LLM-jp-4, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это Transformer-модель для генерации текста, диалоговых сценариев, решения инструкций и многошаговых задач на японском и английском языках. Модель представлена в формате GGUF и предназначена для локального или серверного запуска совместимых средств вывода. Модель имеет плотную архитектуру с 33,2 млрд параметров, 64 слоями, размером скрытого состояния 5120 и 40 головами внимания. Максимальная длина контекста составляет 65 536 токенов. Токенизатор основан на Unigram byte-fallback и совместим с шаблоном чата в формате OpenAI Harmony, однако для корректной работы следует использовать токенизатор из репозитория модели. Обучение включало предварительное и промежуточное обучение на 11,7 трлн токенов, а также дообучение SFT и DPO. Сильными сторонами модели являются большой контекст, поддержка японского и английского языков, а также ориентация thinking-варианта на рассуждения и выполнение сложных инструкций. README не содержит итоговых численных оценок качества, поэтому сравнивать производительность с другими моделями по этим данным нельзя. Для запуска через llama.cpp требуется специальный fork от LLM-jp с исправлениями обработки токенизатора; стандартная upstream-версия может некорректно обрабатывать чат. Модель распространяется по лицензии Apache-2.0.

Maba-v1-600M — причинная языковая модель семейства Maba, представленная AndrewThompson1233. Несмотря на название, модель содержит 752 млн параметров, из них 498 млн не относятся к эмбеддингам; она обучена примерно на 150 млрд токенов. Архитектура состоит из 24 слоёв: 18 слоёв линейной рекуррентной Gated DeltaNet-2 и 6 слоёв Grouped-Query Attention. Такая гибридная схема рассчитана на линейное масштабирование по длине контекста и сокращение памяти KV-кэша по сравнению с обычными трансформерами. Модель предназначена для генерации текста и диалогов, а также для задач с кодом, математикой и рассуждениями. В README приведены результаты тестирования на MMLU, GSM8K и ARC-Challenge; для этой версии двухпроходный режим инференса отключён из-за ошибки в параметре обучающего скрипта, поэтому указанные оценки относятся к обычному однопроходному инференсу. Метаданные указывают многоязычную поддержку, включая английский, русский, китайский и ряд европейских языков. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

Manticore 13B — языковая модель OpenAccess AI Collective, полученная дообучением Llama 13B на наборах диалогов, инструкций, задач на рассуждение и краткое изложение. Это плотная авторегрессионная архитектура LLaMA с 12,9 млрд параметров; модель использует Transformers и принимает текст, генерируя текст. Указанный контекст — 2048 токенов, основной язык карточки — английский. Модель предназначена для диалогов с ассистентом, выполнения инструкций, ответов на вопросы и генерации подробных или кратких ответов. Данные обучения включают ShareGPT, WizardLM, Wizard-Vicuna, Alpaca-CoT, GPT4-LLM-Cleaned, GPTeacher, ScienceQA, HellaSwag, MMLU и набор для суммаризации отзывов. Модель не проходила выравнивание предпочтений с помощью RLHF и может выдавать проблемные ответы, особенно при соответствующих запросах. Лицензия в предоставленных данных не указана.

MaziyarPanahi/Meta-Llama-3.1-405B-Instruct-GGUF — это набор файлов модели в формате GGUF для Meta-Llama-3.1-405B-Instruct, разработанной Meta (meta-llama) и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, в локальных приложениях на базе llama.cpp и совместимых библиотек и интерфейсов. Модель имеет размер 405 миллиардов параметров, относится к текстовым моделям и поддерживает языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. В репозитории представлены варианты квантизации с разрядностью 2 и 3 бита; конкретные характеристики зависят от выбранного файла. В примере указано контекстное окно до 131 072 токенов. Формат GGUF упрощает локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другими инструментами. Сильными сторонами являются большой размер исходной модели, поддержка нескольких языков, инструкционное обучение, длинный контекст и возможность локального использования с квантизированными файлами. Ограничениями остаются очень высокие требования к вычислительным ресурсам, возможные потери качества из-за агрессивной квантизации и отсутствие в README подробных данных о точности, производительности и рекомендуемом оборудовании. Модель распространяется по лицензии Llama 3.1.

mlx-community/Meta-Llama-3.1-70B-Instruct-8bit — 8-битная версия инструкционно дообученной большой языковой модели Meta Llama 3.1 с 70 миллиардами параметров, подготовленная сообществом mlx-community для использования в экосистеме MLX. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы, написание и преобразование текста. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель относится к классу text-generation и использует библиотеку Transformers; модальность — текстовая. Ключевая особенность варианта — 8-битное представление весов, которое может снизить требования к памяти по сравнению с полноразмерной моделью, сохраняя принадлежность к крупной 70B-модели. При этом для запуска всё равно требуются значительные вычислительные ресурсы, а конкретные показатели качества, производительности и максимального контекста в README не указаны. Как и другие языковые модели, она может генерировать неточные или нежелательные ответы, поэтому результаты требуют проверки. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ при соблюдении её условий, включая передачу текста лицензии, указание «Built with Llama», атрибуцию и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 миллионами активных пользователей в месяц предусмотрено требование запросить отдельную лицензию у Meta.

ModelCloud/Meta-Llama-3.1-8B-Instruct-gptq-4bit — квантизированная 4-битная версия инструкционной языковой модели Meta Llama 3.1 с 8 млрд параметров. Модель подготовлена с использованием GPTQModel и предназначена для генерации текста в формате диалога, ответов на вопросы и выполнения инструкций. В README не указаны поддерживаемые языки, модальности и размер контекстного окна. Модель использует GPTQ-квантизацию в формате checkpoint GPTQ с точностью 4 бита, group_size 128, симметричным квантованием и параметрами desc_act=true и true_sequential=true. Квантизация уменьшает требования к памяти и может упростить локальный запуск, однако способна немного снизить точность по сравнению с полноразмерной версией. В README приведены результаты lm-eval, включая общую точность 0,6421 на MMLU, 0,8232 на BoolQ и 0,8068 на ARC Easy; методика и конфигурация исходной модели подробно не описаны. Для запуска рекомендуется использовать Transformers и GPTQModel с токенизатором исходной модели и chat template. Лицензия указана как llama3.1; дополнительные условия использования в README не раскрыты.

Meta-Llama-3-8B-Instruct-old-GGUF — это GGUF-версия инструкционно дообученной большой языковой модели Meta Llama 3 с 8 млрд параметров, подготовленная для распространения пользователем bartowski. Исходную модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, подготовку текста и другие задачи обработки естественного языка. В README указаны английский язык и текстовая модальность; модель относится к семейству Llama 3 и использует архитектуру decoder-only Transformer, однако подробности о контекстном окне, вариантах квантизации и характеристиках конкретной GGUF-сборки не приведены. Сильными сторонами являются относительно компактный размер для локального запуска и ориентация на следование инструкциям. Ограничения, связанные с качеством, безопасностью и применимостью результатов, в README отдельно не описаны. Модель распространяется по лицензии Meta Llama 3 Community License. При распространении материалов или продуктов на их основе требуется соблюдать условия лицензии, включая указание «Built with Meta Llama 3», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 млн ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

Mica Spark-X2.5-4B — производная модель XHToken/Spark-X2.5-4B, опубликованная Miguel Amendez в виде артефактов для Mica runtime. Это диалоговая многоязычная языковая модель класса 4B для генерации текста; архитектура сочетает один слой полного внимания и три слоя с окном скользящего внимания. В README заявлен контекст до 1 048 576 токенов, включая вход и выход, однако он не подтверждён локальными испытаниями Mica на длинных последовательностях. Репозиторий содержит варианты MLX Q4 и Q8, GGUF Q4_K_M и Q8_0, а также safetensors. На Apple M4 варианты MLX прошли проверки генерации и серверного инференса, а GGUF — проверки инференса на Metal. Модель можно применять для диалогов и генерации текста на разных языках; базовая модель также предназначена для кода, рассуждений, перевода и агентных задач. Лицензия исходной модели и производных артефактов — Apache-2.0. Заявление о контексте в миллион токенов не подтверждено испытаниями Mica: для практического использования следует опираться на сертифицированный лимит выбранного профиля. Варианты vLLM не опубликованы как производственные артефакты, а локальные проверки не подтверждают работу на всех платформах и режимах.

RippaSats/MiniMax-M3 — мультимодальная модель семейства MiniMax M3, представленная в формате safetensors и рассчитанная на работу с текстом и изображениями. В README заявлены около 428 млрд параметров, примерно 23 млрд активируемых параметров и контекст до 1 млн токенов. Архитектура использует разреженное внимание MiniMax Sparse Attention (MSA), предназначенное для снижения вычислительных затрат и потребления памяти при длинном контексте; авторы также заявляют ускорение обработки длинного контекста по сравнению с M2. Модель предназначена для диалогов с изображениями, задач программирования и длительных агентных сценариев. README также описывает обучение на смеси модальностей с самого начала и заявляет поддержку видео, однако метаданные модели подтверждают только задачу image-text-to-text и возможности чата и зрения. README рекомендует использовать MiniMax Agent или MiniMax API. Репозиторий указывает лицензию other, поэтому конкретные условия использования следует проверять в приложенных лицензионных материалах.

Mistral 7B Instruct v0.1 в формате GGUF — языковая модель для генерации текста и выполнения инструкций, разработанная Mistral AI и преобразованная в квантизированные файлы TheBloke. Модель предназначена для диалоговых приложений, локального запуска и других сценариев, где требуется обработка текстовых запросов с использованием совместимых библиотек и пользовательских интерфейсов. Модель относится к семейству Mistral и содержит 7 миллиардов параметров. Доступны варианты квантизации от 2 до 8 бит, рассчитанные на инференс с использованием CPU и GPU. Поддерживаются llama.cpp и ряд сторонних инструментов, включая text-generation-webui, LM Studio, KoboldCpp, ctransformers и llama-cpp-python. Для форматирования запросов используется шаблон <s>[INST] {prompt} [/INST]. К сильным сторонам относятся компактность квантизированных вариантов, возможность локального запуска и широкая совместимость с экосистемой GGUF. Ограничения включают максимальную длину последовательности 4096 токенов для указанных файлов, а также возможное снижение качества при использовании более агрессивной квантизации. Поддерживаются только текстовые сценарии; сведения о языках обучения в README не указаны. Модель распространяется по лицензии Apache 2.0.

TheBloke/Mistral-7B-Instruct-v0.1-GPTQ — квантизированная версия Mistral 7B Instruct v0.1, разработанного Mistral AI и подготовленная TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного вывода, включая диалоговые приложения и другие задачи обработки текста. Это языковая модель семейства Mistral с 7 миллиардами параметров, доступная в формате GPTQ для GPU-инференса. В репозитории представлены варианты 4-, 5-, 6- и 8-битной квантизации с разными параметрами group size и Act Order; основной вариант имеет размер около 4,16 ГБ, использует 4-битную квантизацию, group size 128 и поддерживает ExLlama. Для работы также предусмотрена загрузка через Transformers, однако на момент публикации требовалась версия из указанного GitHub-коммита. В README не указаны полный список поддерживаемых языков, точная архитектура контекстного окна исходной модели и конкретные результаты тестирования. К сильным сторонам относятся уменьшенный размер и сниженные требования к видеопамяти по сравнению с полноразмерной моделью, а ограничением может быть небольшая потеря точности из-за квантизации и зависимость от совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Mistral-7B-Instruct-v0.2-GGUF — это квантизированная GGUF-версия языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI (mistralai) и подготовленной для распространения компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через LlamaEdge. Она использует шаблон запросов mistral-instruct и поддерживает контекст до 4096 токенов. Модель содержит около 7 миллиардов параметров и работает только с текстом. Доступны варианты квантизации от 2 до 8 бит в формате GGUF, различающиеся размером файлов и компромиссом между требованиями к памяти и качеством: от 3,08 ГБ для Q2_K до 7,7 ГБ для Q8_0. В README не указаны поддерживаемые языки и подробности архитектуры. Варианты с низкой разрядностью требуют меньше ресурсов, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как сбалансированные или рекомендуемые. Для запуска через LlamaEdge требуется версия 0.2.8 или новее. Модель распространяется по лицензии Apache-2.0, однако конкретные условия использования отдельных вариантов следует соотносить с лицензией исходной модели.

Devstral-Small-2-24B-Instruct-2512-GGUF — это GGUF-квантизированная версия инструкционной модели Devstral-Small-2-24B-Instruct-2512, разработанной Mistral AI и преобразованной в набор квантованных файлов пользователем bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет 24 млрд параметров; в README не указаны её точная архитектура, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты от BF16 размером 47,15 ГБ до компактных квантований Q3 и Q4, а также Q5, Q6 и Q8. Более высокие уровни квантования обычно обеспечивают лучшее сохранение качества, тогда как младшие варианты снижают требования к оперативной памяти. Для большинства сценариев в README рекомендован Q4_K_M, а для максимального качества — Q6_K_L или Q6_K. Сильная сторона этой версии — возможность локального использования большой инструкционной модели в различных компромиссах между качеством и потреблением памяти. Поддержка tool calling заявлена как частично работоспособная: одиночные вызовы в тестах выполнялись, но цепочки вызовов могли ломаться, поэтому совместимость с mistral-vibe не гарантируется. Модель распространяется по лицензии Apache-2.0.

MistralInstructLongish-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.1 и MistralInstructLongish методом SLERP. Она предназначена для генерации ответов на инструкции и диалоговые запросы; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст. Указана лицензия Apache-2.0. Карточка не сообщает о языковом охвате и конкретных специализированных областях применения.

Mistral-Nemo-NT-Ko-12B-sft — многоязычная диалоговая модель на архитектуре Mistral, дообученная автором werty1248 на базе mistralai/Mistral-Nemo-Base-2407. Модель содержит 12,1 млрд параметров и распространяется в формате safetensors по лицензии Apache-2.0. Она предназначена для диалогов и генерации инструктивных ответов на английском, корейском, китайском и японском языках. Дообучение ориентировано на языковое выравнивание, перенос знаний между языками и форматирование ChatML; модель обычно отвечает на языке запроса, если не задан другой язык. В карточке приведены результаты тестирования на LogicKor и MT-Bench. Контекст обучения составил 8 тыс. токенов, хотя для базовой модели указано окно до 128 тыс. токенов. Это промежуточная версия без оптимизации предпочтений. Длина ответов зависит от языка: английские ответы обычно длиннее, корейские — короче; поведение на японском и китайском автор продолжает наблюдать. Рекомендуемая температура генерации — 0,3–0,7.

neural-chat-7b-v3-2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi объединением Mistral-7B-Instruct-v0.2 и Intel/neural-chat-7b-v3-2 методом SLERP. Это плотная архитектура Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в формате чата. Модель принимает текст и выдаёт текст; её контекстное окно составляет до 32 768 токенов. Модель подходит для диалоговых ассистентов, ответов на вопросы, следования текстовым инструкциям и генерации текста общего назначения. В метаданных указана лицензия Apache-2.0. Данных о специальных ограничениях качества или целевых областях применения в предоставленной карточке нет.

Nous-Hermes-2-DPO_into_Nous_Hermes-2-Pro — слитая модель, созданная с помощью LazyMergekit на основе NousResearch/Nous-Hermes-2-Mistral-7B-DPO и NousResearch/Hermes-2-Pro-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и диалогов; контекстное окно составляет 32 768 токенов. Модель поддерживает чат-сценарии и использует формат весов safetensors. Слияние выполнено методом SLERP с настройками, заданными по слоям и компонентам внимания и MLP; в README указан тип данных bfloat16. Метаданные не содержат сведений о лицензии и конкретном наборе поддерживаемых языков, поэтому их нельзя надёжно указать.

Open-Instruct Stanford Alpaca 13B — языковая модель семейства LLaMA с плотной архитектурой, дообученная Allen Institute for AI на наборе инструкций Stanford Alpaca в рамках исследования по instruction tuning на открытых ресурсах. Модель предназначена для генерации ответов на инструкции и запросы на английском языке; для работы с ней следует использовать описанный в карточке формат входного запроса. Модель содержит 12,9 млрд параметров, принимает текст и выдаёт текст. Её контекст составляет 2048 токенов. В карточке приведены результаты на наборах тестов по общим знаниям, математике, рассуждениям, вопросам и ответам, программированию и следованию инструкциям. Это diff весов, для использования которого требуется модель LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model license и исходной лицензией LLaMA.

OpenThaiGPT 1.6 72B — плотная языковая модель команды OpenThaiGPT для диалогов и общих задач на тайском и английском языках. Она основана на архитектуре Qwen2, содержит 71,5 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для ответов на вопросы, рассуждений, решения математических задач и помощи с кодом. Команда отмечает улучшения в рассуждениях о коде на тайском и английском языках, а также понимании тайского языка и культурного контекста. Модель можно запускать локально; для облегчённых вариантов доступны отдельные GGUF-квантизации. Это объединённая модель, собранная из OpenThaiGPT 1.5 72B Instruct и вариантов OpenThaiGPT 1.6 для экзаменационных задач, общих инструкций и Lexitron. Репозиторий содержит веса Safetensors. Указана лицензия other, без конкретизации её условий в предоставленных данных. Ответы модели не гарантированы; полная точность и применимость к конкретным задачам не установлены.

MaziyarPanahi/Phi-3.5-mini-instruct-GGUF — набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе microsoft/Phi-3.5-mini-instruct, разработанной Microsoft. Модель предназначена для генерации текста и использования в локальных приложениях и интерфейсах, поддерживающих GGUF, включая llama.cpp, llama-cpp-python, LM Studio и другие совместимые инструменты. В репозитории представлены квантизованные варианты с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером модели, требованиями к памяти и качеством генерации. README не содержит сведений о точном размере модели, архитектуре, длине контекста, поддерживаемых языках, модальностях и лицензии. Формат GGUF ориентирован на эффективный локальный запуск, включая сценарии с GPU-ускорением, однако конкретные требования к оборудованию зависят от выбранного варианта квантизации и программного обеспечения.

Microsoft Phi-3 Medium-4K-Instruct в этом репозитории представлен в формате ONNX и оптимизирован для инференса через ONNX Runtime на NVIDIA GPU с CUDA. Это конверсия инструкционной модели семейства Phi-3 с плотной архитектурой Phi3ForCausalLM и примерно 13,8 млрд параметров; исходная модель прошла дообучение с учителем и оптимизацию по предпочтениям для следования инструкциям и повышения безопасности. Модель принимает текст и генерирует текстовые ответы в диалоговом формате; поддерживает контекст до 4096 токенов. В README описаны варианты FP16 и INT4, причём INT4 получен квантованием RTN; метаданные указывают формат ONNX. Модель подходит для диалоговых ассистентов, ответов на вопросы, рассуждений, математики и генерации кода. README сообщает о тестировании на NVIDIA A100 и минимальном требовании CUDA GPU с Compute Capability 7.0 или выше; приведённые замеры производительности относятся к A100 и не гарантируют таких же результатов на другом оборудовании. Лицензия — MIT.

duyntnet/Phi-4-mini-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-4-mini-instruct, разработанной Microsoft. Модель предназначена для генерации текста, диалогов, выполнения инструкций, рассуждений и сценариев с вызовом инструментов. Она ориентирована на локальный запуск через llama.cpp и совместимые клиенты, включая KoboldCPP, Ollama, text-generation-webui, Jan и GPT4All. Модель является лёгкой и поддерживает контекст длиной до 128K токенов. Она обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на плотные по рассуждениям данные; для улучшения следования инструкциям и безопасности применялись supervised fine-tuning и direct preference optimization. Указан английский язык, модальность — текстовая. Размер модели, конкретные параметры квантизации и архитектурные детали в README не приведены. Для запуска требуется llama.cpp версии b4792 или новее либо совместимое программное обеспечение. Квантизация может снизить требования к ресурсам, но потенциально уступать исходной модели в точности; конкретные компромиссы зависят от варианта GGUF и не описаны. Лицензия указана как other, без дополнительных условий в представленном README.

Project Norn V20 — экспериментальная текстовая генеративная модель Osakra Research, построенная на базе empero-ai/Qwen3.8-9B-Distill. В карточке описана архитектура NornV20ForCausalLM: чередование причинного внимания с окном 512 токенов и рекуррентной памяти Titans-HRR; заявлены обработка контекста до 32 768 токенов и реализация на Transformers. Репозиторий содержит веса Safetensors и GGUF F16, а метаданные указывают 3,7 млрд параметров. Модель предназначена для диалогов, рассуждений, математики, программирования и агентных сценариев. Карточка заявляет показатели внутренних бенчмарков, но приведённые описания и результаты не дают независимой проверки этих утверждений. В README упоминается работа с изображениями через Ollama и внешний mmproj, однако метаданные подтверждают только текстовую генерацию, поэтому мультимодальную поддержку нельзя считать установленной. Лицензия — Apache-2.0.

Карточка модели kyoganath786/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

bunnycore/Qwen2.5-7B-R1-Bespoke-Stock — объединённая языковая модель, созданная с помощью mergekit методом Model Stock. В качестве базовой использована huihui-ai/Qwen2.5-7B-Instruct-abliterated-v3; в объединение также вошли bunnycore/Qwen2.5-7B-R1-Bespoke-Task, deepseek-ai/DeepSeek-R1-Distill-Qwen-7B и bespokelabs/Bespoke-Stratos-7B. Модель построена на архитектуре Qwen2 с плотной causal language model, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования. Она может применяться для ответов на запросы и многошаговых рассуждений; базовая DeepSeek-R1-Distill-Qwen-7B ориентирована, в частности, на математику и программирование, но README не приводит отдельных оценок возможностей именно этого объединения. Репозиторий содержит веса в формате safetensors и рассчитан на библиотеку Transformers. Язык лицензии в предоставленных данных не указан.

Qwen2-7B — базовая предобученная языковая модель из семейства Qwen2, разработанного командой Qwen. Это плотная авторегрессионная модель на архитектуре Transformer с 7,1 млрд параметров; в README указаны SwiGLU, смещение в проекциях QKV и групповое внимание. Модель принимает текст и предназначена для дообучения, например с помощью SFT, RLHF или продолжения предобучения, перед использованием в прикладной генерации текста. Модель оценивается на задачах понимания и генерации текста, вопросах и ответах, программировании, математике, рассуждениях и многоязычных тестах. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования. Метаданные указывают контекст до 131 072 токенов и формат весов safetensors; карточка описывает базовую, а не instruction-tuned версию. Модель распространяется по лицензии Apache-2.0. Разработчики не рекомендуют использовать базовую версию для непосредственной генерации текста; качество на конкретных прикладных задачах может потребовать постобучения и отдельной проверки.

Qwen/Qwen3-0.6B-MLX-bf16 — версия модели Qwen3, подготовленная для запуска с библиотекой MLX. Это плотная авторегрессионная языковая модель с 507,9 млн параметров, основанная на Qwen/Qwen3-0.6B-Base; в репозитории указаны веса safetensors и лицензия Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математических задач, генерации кода, перевода и сценариев с вызовом инструментов. Модель поддерживает режимы с рассуждениями и без них, которые можно переключать при формировании запроса. Карточка описывает поддержку более 100 языков и диалектов. Контекст в метаданных указан как 40 960 токенов; README базовой модели приводит 32 768 токенов. Модель компактна по числу параметров и рассчитана на запуск через MLX, однако карточка не приводит отдельной оценки качества именно этой версии на конкретных задачах. Как и другие небольшие языковые модели, она может ошибаться в фактах, рассуждениях и коде; для режима рассуждений важен подбор параметров генерации.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанная ByteShape с использованием технологии ShapeLearn. ShapeLearn подбирает оптимальный тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и может использоваться для локального запуска через llama.cpp и Ollama на CPU и GPU. Доступны варианты с разной степенью квантизации: от 2,66 до 4,67 бит на вес и размером примерно от 10,2 до 17,8 ГБ. Варианты KQ оптимизированы для CPU и преимущественно используют KQ-квантизацию, а варианты IQ — для GPU и применяют гибридный подход KQ и IQ. По приведённым бенчмаркам нормализованное качество составляет до 99,75% относительно используемых базовых вариантов, однако конкретный результат зависит от выбранного файла и оборудования. Архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны. Основные преимущества модели — широкий выбор компромиссов между размером, скоростью и качеством, а также поддержка CPU и GPU, включая использование на компактных устройствах, согласно материалам разработчика. Ограничения связаны с потерями качества при сильной квантизации, зависимостью производительности от оборудования и тем, что обозначения IQ и KQ не соответствуют стандартным профилям llama.cpp. Модель распространяется по лицензии Apache-2.0.