II.1Анализ требований и архитектура ПО

Это преобразованная сообществом mlx-community версия диалоговой модели NVIDIA Llama-3.1-Nemotron-70B-Instruct-HF, подготовленная для запуска в формате MLX на Apple Silicon. Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров; длина контекста — до 131 072 токенов. Она предназначена для генерации текста в ответ на инструкции и запросы, поддерживает чат и интерфейс вызова инструментов. Модель дообучена NVIDIA на базе Llama 3.1 Nemotron с использованием HelpSteer2, а затем конвертирована в MLX; в репозитории указана версия bf16. Подходит для диалоговых ассистентов, ответов на вопросы и выполнения текстовых инструкций. Карточка и метаданные указывают английский язык. Для использования действуют условия лицензии Llama 3.1; запуск через MLX ориентирован на устройства Apple Silicon.

Snowflake AI Research разработала Snowflake/Llama-3.1-SwiftKV-8B-Instruct — инструкционную языковую модель на архитектуре Llama-3.1 с преобразованием SwiftKV для ускорения вывода. Метод оптимизирует обработку входного промпта: перенастраивает модель и применяет дистилляцию с сохранением знаний, чтобы часть токенов при обработке промпта могла пропускать до половины слоёв. Репозиторий содержит веса в формате safetensors; число параметров — 7,5 млрд, контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев, где важны скорость обработки промптов и эффективность обслуживания запросов. В README заявлены улучшения пропускной способности, задержки и стоимости до 2 раз при небольшой потере точности; для версии 8B приведены результаты бенчмарков, где среднее значение снизилось с 73,71 до 72,70 относительно базовой модели. Поддерживается лицензия Llama 3.1; применяются её условия использования.

richardyoung/Llama-3.2-3B-Instruct-heretic — текстовая разговорная модель на базе Llama 3.2 3B от Meta, опубликованная пользователем richardyoung. Это авторегрессионный трансформер с 3,2 млрд параметров, рассчитанный на генерацию ответов в диалоге и другие задачи генерации текста. В карточке указаны контекст до 131 072 токенов и поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модификация обозначена как heretic, uncensored, decensored и abliterated; конкретный способ изменения модели в предоставленных данных не описан. Модель может применяться для чат-ассистентов, суммаризации, поиска по знаниям и переформулирования запросов. Она принимает текст и выдаёт текст. README указывает лицензию Llama 3.2 Community License — специальное соглашение с условиями использования, включая Acceptable Use Policy. Как и другие компактные языковые модели, она может уступать более крупным моделям в качестве и требует проверки безопасности при внедрении.

Maziyar Panahi разработал Llama-3-8B-Instruct-v0.9 на основе MaziyarPanahi/Llama-3-8B-Instruct-v0.8. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 8192 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; для общения использует шаблон ChatML и может запускаться через библиотеку Transformers. В карточке приведены результаты тестирования на Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag. Метаданные указывают английский язык. Репозиторий содержит веса в формате safetensors, а квантизованные GGUF-варианты размещены отдельно. Лицензия указана как other, поэтому перед использованием следует проверить условия лицензии в репозитории.

RDson/Llama-3-Peach-Instruct-4x8B-MoE — экспериментальная языковая модель RDson, созданная с помощью Mergekit путём объединения четырёх моделей семейства Llama 3 в архитектуру MoE. Она предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, следования инструкциям и решения задач с рассуждением. В README приведены результаты GSM8K для варианта Q4_K_M; в репозитории указаны веса safetensors, а GGUF-версия доступна отдельно. Модель имеет около 7,5 млрд параметров и контекстное окно 8192 токена. В состав объединения вошли Meta-Llama-3-8B-Instruct, SFR-Iterative-DPO-LLaMA-3-8B-R, Hermes-2-Theta-Llama-3-8B и Llama-3-8B-Instruct-Coder. README называет её экспериментальной; сведения о лицензии в предоставленных данных отсутствуют.

LongCat-Flash-Lite-FP8 — языковая модель для генерации текста, разработанная командой Meituan LongCat. Это нерассуждающая модель на архитектуре Mixture-of-Experts (MoE) с 68,5 млрд параметров, из которых при обработке запроса активируется примерно 3 млрд. Модель поддерживает контекст длиной до 256 тысяч токенов благодаря методу YaRN и использует таблицу N-gram embedding объёмом более 30 млрд параметров. Модель предназначена для общего текстового использования, агентских сценариев с применением инструментов и задач программирования. Разработчики отмечают высокую эффективность в агентском взаимодействии и coding-задачах, а также улучшенную скорость и задержку инференса благодаря N-gram Cache и специализированным синхронизированным ядрам. В README не указаны точный список поддерживаемых языков и мультимодальные возможности; по назначению и pipeline_tag модель относится к текстовой генерации. Для запуска через Transformers рекомендуется использовать Python 3.10 или новее, PyTorch 2.6 или новее, Transformers 4.57.6 и Accelerate 1.10.0. Требуется как минимум две видеокарты с 80 ГБ VRAM каждая, например H100 или A100. К ограничениям относятся значительные требования к аппаратным ресурсам, а также отсутствие в представленных данных подробностей о качестве на конкретных языках, мультимодальности и иных аспектах эксплуатации. Модель распространяется по лицензии MIT.

Undi95/Lumimaid-Magnum-v4-12B — объединённая разговорная модель на архитектуре Mistral, созданная автором Undi95 с помощью mergekit. В объединение вошли Lumimaid, Magnum v4, LocalC и Mistral Nemo Instruct; также автор добавил дообученную на входах Claude версию Nemo. Модель содержит 12,1 млрд параметров, использует формат safetensors и рассчитана на контекст до 131 072 токенов. Для prompt используется шаблон Mistral [INST]…[/INST]. Модель предназначена для диалога и генерации текста по инструкциям, в том числе для продолжительных бесед и сценариев с вызовом инструментов. В README не описаны отдельные специализированные области применения или подробные оценки качества. Лицензия в предоставленных данных не указана.

Sowmen123 разработал эту плотную авторегрессионную модель семейства Llama, дообучив Meta-Llama-3.1-8B-Instruct на задачи следования инструкциям и диалогового общения. Репозиторий содержит веса PyTorch; модель насчитывает 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Для ускорения обучения использовались Unsloth и библиотека Hugging Face TRL. Модель предназначена для генерации текста: она подходит для диалогового ассистента, ответов на инструкции, создания текстов и суммаризации. В карточке заявлен английский язык; доступны чатовый интерфейс и интерфейс вызова инструментов. Модель распространяется по лицензии Apache-2.0.

Карточка модели eshiryae/MiniCPM4-8B на Hugging Face совпадает с карточкой openbmb/MiniCPM4-8B, поэтому описание составлено по ней. MiniCPM4-8B — плотная языковая модель OpenBMB с 7,9 млрд параметров, построенная на архитектуре MiniCPMForCausalLM. Она предназначена для эффективного запуска на устройствах с ограниченными ресурсами; разработчики сообщают об ускорении генерации более чем в пять раз на типичных конечных устройствах, а на Jetson AGX Orin — примерно в семь раз по сравнению с Qwen3-8B при декодировании. Модель обучена на 8 трлн токенов и поддерживает диалоговый режим. Модель принимает текст и генерирует текст. Она предобучена на контекстах длиной 32 тысячи токенов, а расширение контекста до 128 тысяч достигается с помощью YaRN; README приводит результаты теста поиска фрагмента в длинном тексте. Карточка и метаданные указывают поддержку китайского и английского языков. Модель распространяется по лицензии Apache-2.0. Производитель отмечает, что генерируемые ответы требуют самостоятельной проверки: модель не выражает личных мнений или ценностных суждений, а её выводы не следует считать позицией разработчиков. Для корректного форматирования запросов при использовании chat API vLLM нужно явно включать добавление специальных токенов.

Mistral-7B-Instruct-v0.3-GGUF — набор квантизированных GGUF-версий модели Mistral-7B-Instruct-v0.3 от Mistral AI, подготовленный и опубликованный bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от IQ1 и IQ2 до Q8_0, различающиеся размером файла, требованиями к памяти и качеством генерации. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях на базе llama.cpp и совместимых инструментов. Модель подходит для диалоговых сценариев, ответов на запросы и других задач текстовой генерации. Для работы используется формат запроса <s>[INST] {prompt} [/INST]</s>; системные сообщения не поддерживаются. В README не указаны контекстное окно, поддерживаемые языки и точная архитектура базовой модели, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а низкие позволяют снизить потребление памяти, но сопровождаются заметным ухудшением качества. Распространение указано под лицензией Apache-2.0.

Devstral-Small-2-24B-Instruct-2512-GGUF — это GGUF-квантизированная версия инструкционной модели Devstral-Small-2-24B-Instruct-2512, разработанной Mistral AI и преобразованной в набор квантованных файлов пользователем bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет 24 млрд параметров; в README не указаны её точная архитектура, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты от BF16 размером 47,15 ГБ до компактных квантований Q3 и Q4, а также Q5, Q6 и Q8. Более высокие уровни квантования обычно обеспечивают лучшее сохранение качества, тогда как младшие варианты снижают требования к оперативной памяти. Для большинства сценариев в README рекомендован Q4_K_M, а для максимального качества — Q6_K_L или Q6_K. Сильная сторона этой версии — возможность локального использования большой инструкционной модели в различных компромиссах между качеством и потреблением памяти. Поддержка tool calling заявлена как частично работоспособная: одиночные вызовы в тестах выполнялись, но цепочки вызовов могли ломаться, поэтому совместимость с mistral-vibe не гарантируется. Модель распространяется по лицензии Apache-2.0.

MistralLite — языковая модель на архитектуре Mistral-7B, дообученная участниками AWS для работы с длинным контекстом. Она предназначена для поиска сведений в длинных текстах, извлечения тем и строк, суммаризации и ответов на вопросы по предоставленному контексту. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. При дообучении использованы адаптация Rotary Embedding с rope_theta = 1 000 000 и окно скользящего внимания размером 16 384 токена. README сообщает об улучшении результатов на задачах извлечения и ответов по длинному контексту; основной язык модели — английский. Указанная лицензия — Apache 2.0. Для запросов с входным контекстом длиннее 12 000 токенов README рекомендует использовать специальный контейнер TGI. Разработчики советуют самостоятельно оценивать качество и проверять соответствие применения местным правилам, лицензиям и требованиям контроля качества.

Mixtral SlimOrca 8X7B — языковая модель для генерации текста, разработанная OpenOrca и представленная TheBloke в формате GGUF с квантованием. Модель основана на Mixtral-SlimOrca-8x7B и обучена с использованием набора данных Open-Orca/SlimOrca. Она предназначена для диалоговых сценариев и других задач генерации текста, включая локальный запуск через совместимые инструменты. Модель относится к архитектуре Mixtral и имеет конфигурацию 8x7B; точный размер активируемой части, поддерживаемые языки и максимальная длина контекста в README не указаны. Для взаимодействия используется шаблон ChatML с системными и пользовательскими сообщениями. GGUF-файлы доступны в вариантах квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти и качеством; рекомендован вариант Q4_K_M как сбалансированный. К сильным сторонам относятся возможность запуска на CPU и совместимых GPU, несколько уровней квантования и поддержка llama.cpp, KoboldCpp, LM Studio и llama-cpp-python при указанных в README версиях. Ограничения включают заметную потерю качества у наиболее агрессивных вариантов квантования, высокие требования к оперативной памяти у старших вариантов и ограниченную совместимость с другими клиентами. Лицензия модели — Apache 2.0.

MN-Lulanum-12B-FIX — объединённая языковая модель, созданная с помощью mergekit на основе unsloth/Mistral-Nemo-Base-2407 и четырёх моделей: VAGOsolutions/SauerkrautLM-Nemo-12b-Instruct, anthracite-org/magnum-v2.5-12b-kto, Undi95/LocalC-12B-e2.0 и NeverSleep/Lumimaid-v0.2-12B. Для слияния применён метод della_linear. Модель использует плотную архитектуру MistralForCausalLM, содержит 12,1 млрд параметров и предназначена для генерации текста и диалоговых сценариев; в метаданных также отмечен интерфейс вызова инструментов. Заявленная длина контекста — 1 024 000 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Сведения о лицензии, поддерживаемых естественных языках и ограничениях в доступных материалах отсутствуют.

MN-SlushoMix — разговорная языковая модель семейства Mistral, представленная автором как смесь MN-Slush и NemoMix Unleashed. По метаданным, это плотная модель с архитектурой MistralForCausalLM объёмом 12,1 млрд параметров, предназначенная для генерации текста и диалогов. Указаны интерфейс вызова инструментов и контекстное окно до 1 024 000 токенов. Модель основана на mistralai/Mistral-Nemo-Instruct-240; карточка упоминает смесь моделей, а метаданные классифицируют её как дообучение. Данные не уточняют поддерживаемые естественные языки или сравнительное качество. Репозиторий содержит веса safetensors; README также упоминает GGUF. Лицензия в предоставленных сведениях не указана.

Muse-Glimmer-30B-Abliterated-GGUF — экспериментальная версия 30-миллиардной агентной on-device-модели Muse Glimmer, разработанная Blackfrost на базе meta-models/Muse-Glimmer-30B от Meta. Модель распространяется в формате GGUF для локального запуска через llama.cpp на одной потребительской видеокарте или CPU, полностью офлайн. Вариант abliterated получен изменением весов, направленным на удаление отказов модели; заявленные тесты на 450 запросах показали отсутствие истинных отказов, однако эти результаты относятся к родительской модели и могут не отражать все сценарии использования. Архитектура muse_glimmer включает 52 слоя, скрытое пространство размером 6656, GQA с 32 query- и 2 key/value-головами, sliding-window attention и vision tower. Поддерживаются текстовые и визуальные входы, при этом для обработки изображений требуется отдельный mmproj-проектор. Контекстное окно составляет 131 072 токена. Доступны квантизации от Q2_K до Q8_0 размером примерно от 10 до 27,6 ГБ; рекомендуемым балансом качества и размера назван Q4_K_M. Для ускорения генерации предусмотрен DFlash drafter со speculative decoding в llama-server. Модель предназначена для локальных агентных, мультимодальных, кодовых и общих диалоговых сценариев, включая работу в условиях ограниченного или отсутствующего сетевого доступа. К сильным сторонам относятся большое контекстное окно, локальная работа, широкий выбор квантизаций и поддержка спекулятивного декодирования. Ограничения включают экспериментальный статус, необходимость совместимой свежей версии llama.cpp, значительные требования к памяти, а также потенциальные риски и непредсказуемость поведения из-за удаления защитных отказов. Базовая модель и производная распространяются по лицензии Apache-2.0.

Sakalti/Neptuno-3B — объединённая автором модель генерации текста на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В объединение вошли Sakalti/Light-3B и Spestly/Athena-1-3B, указанная в README как базовая модель; каталог также отмечает Sakalti/Light-3B как компонент слияния. Модель содержит 3,1 млрд параметров и принимает контекст длиной до 32 768 токенов. Модель предназначена для диалоговой генерации текста и интерфейсов вызова инструментов. Она распространяется в формате safetensors и использует библиотеку Transformers. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и лицензиями компонентов слияния.

NeuralHermes-2.5-Mistral-7B-laser — экспериментальная версия разговорной модели NeuralHermes от mlabonne, основанная на teknium/OpenHermes-2.5-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она дообучена на парах предпочтений ChatML методом Direct Preference Optimization (DPO), а затем оптимизирована методом LASER на основе выборочного снижения ранга слоёв и теории случайных матриц. Модель предназначена для диалогов и выполнения инструкций, генерации текста, ответов на вопросы и помощи с кодом. В карточке приведены результаты нескольких тестовых наборов; они близки к показателям исходной NeuralHermes-2.5-Mistral-7B. Для запуска указаны LM Studio и другие пользовательские интерфейсы. Модель принимает текст и генерирует текст. Карточка указывает английский язык и лицензию Apache-2.0. Версия обозначена автором как экспериментальная, поэтому результаты оценки не гарантируют качество в конкретных сценариях; возможны обычные для языковых моделей ошибки и неточные ответы.

next-14b-i1-GGUF — набор GGUF-квантизаций модели next-14b, разработанной thelamapi и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, выполнения инструкций, рассуждений, аналитических и писательских задач, а также многоязычного использования. Модель относится к классу больших языковых моделей примерно на 14 млрд параметров и доступна в формате GGUF с различными вариантами квантизации, включая IQ- и Q-типы. В README заявлена поддержка турецкого, английского, немецкого, испанского, французского, русского, китайского, японского и корейского языков. Обучение или дообучение связано с наборами данных для instruction tuning, reasoning, диалогов и генерации текста. Сведения о точной архитектуре и размере контекста не указаны. Главное преимущество — широкий выбор уровней квантизации, позволяющий выбирать компромисс между размером файла, скоростью и качеством; рекомендуемыми названы i1-Q4_K_M и i1-Q4_K_S. Более компактные варианты могут заметно уступать по качеству, а некоторые из них в README прямо характеризуются как низкокачественные. Модель ориентирована на локальный запуск в совместимом ПО, однако конкретные требования к оборудованию не приведены. Лицензия — MIT.

NVIDIA-Nemotron-3-Ultra-550B-A55B-Base-BF16 — базовая большая языковая модель, разработанная NVIDIA Corporation и выпущенная в версии v1.0 GA. Она предназначена для разработчиков и исследователей, которые создают и адаптируют LLM. Модель предварительно обучена на данных по программированию, математике, науке и общим знаниям; заявлены 550 млрд параметров всего и 55 млрд активных параметров. Архитектура Nemotron Hybrid LatentMoE сочетает слои Mamba-2, MoE и выборочные слои Attention. Слои Multi-Token Prediction помогают ускорить генерацию, в том числе посредством speculative decoding. Метаданные указывают контекст до 262 144 токенов; в README заявлена поддержка до 1 млн токенов. Модель принимает и генерирует текст и поддерживает английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит согласно тегам метаданных; README отдельно называет бразильский вариант португальского и не упоминает арабский и иврит. Модель заявлена для коммерческого и некоммерческого использования, однако в метаданных лицензия обозначена как «other», поэтому конкретные условия следует проверить на странице модели. Для запуска NVIDIA рекомендует GPU-ускоренные системы; README перечисляет интеграцию с NeMo и совместимое оборудование NVIDIA. Перед внедрением требуется проверка на данных конкретного сценария. (Размер файлов BF16 и практические требования к памяти в предоставленных данных не раскрыты.)

Accio-Lab/occamy-1.0-NVFP4 — это версия модели Occamy 1.0 со смешанными NVFP4-квантованными весами, разработанная Accio-Lab. Модель основана на Qwen3.6-35B-A3B и использует архитектуру mixture-of-experts (MoE). Она относится к мультимодальным моделям image-text-to-text и предназначена для работы с текстовыми и визуальными запросами. Квантованию подвергнуты маршрутизируемые эксперты: для их весов и активаций используются NVFP4. Механизмы внимания, маршрутизаторы, общие эксперты, эмбеддинги, выходная голова и vision-компоненты сохранены в формате BF16. Сохранены исходные токенизатор и chat template Occamy; отдельная MTP-голова в этот checkpoint не включена. Модель подходит для генерации текста и кода, структурированных ответов в JSON, tool calling и базового распознавания изображений. Проверки показали сопоставимое с BF16-версией поведение на небольшом наборе тестов для текста, кода, JSON, вызова инструментов и изображений. При этом заявленные проверки не являются общими бенчмарками и не подтверждают качество на широком спектре задач, аудио, видео, длинном контексте или производительность. Набор калибровки был ограниченным, а нативное выполнение NVFP4 требует совместимого оборудования и ядер; совместимость с vLLM проверялась через Marlin W4A16, а не через нативные FP4-вычисления. Валидация проводилась с контекстом 2048 токенов. Модель распространяется по лицензии Apache-2.0.

OLMo-2-1124-7B-Instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели OLMo-2-1124-7B-Instruct, разработанной Allen Institute и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций, ответы на вопросы и решение задач в локальных приложениях на базе llama.cpp. Модель содержит около 7 миллиардов параметров, работает в текстовой модальности и ориентирована на английский язык. В репозитории доступны варианты от F16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3 и Q2, поэтому можно выбирать между качеством, скоростью и требованиями к памяти. Для квантования использовалась imatrix-методика, а также исправленный tokenizer.json базовой модели. Точный размер контекстного окна в README не указан. Сильная сторона сборки — возможность запуска модели локально с различным объёмом памяти и совместимость с llama.cpp; варианты Q6 и Q5 заявлены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию для большинства сценариев. Более сильное квантование уменьшает требования к ресурсам, но может снижать качество ответов; низкобитные варианты имеют заметные ограничения. Отдельные сборки оптимизированы для ARM и требуют соответствующих аппаратных возможностей. Модель распространяется по лицензии Apache-2.0.

OpenChat 3.6 8B — это набор квантованных сборок модели openchat-3.6-8b-20240522 в формате GGUF с использованием imatrix. Модель разработана проектом OpenChat, а представленные квантования опубликованы пользователем или организацией duyntnet. Она предназначена для генерации текста, диалогов, программирования и решения общих задач. В README указана поддержка английского языка и текстовая модальность. Модель имеет размер около 8 миллиардов параметров. Для общения используется шаблон GPT4 Correct с маркером окончания генерации <|end_of_turn|>; также доступен встроенный chat_template. Формат GGUF и квантование ориентированы на запуск в совместимых локальных средствах инференса с потенциально сниженным потреблением памяти, однако конкретные варианты квантования и их характеристики в README не перечислены. Ограничения качества, размер контекста и дополнительные модальности не указаны. Лицензия обозначена как other, без уточнения условий использования.

Open-Instruct Human-mix 7B — языковая модель семейства LLaMA, дообученная командой Allen Institute for AI на смеси созданных людьми инструкционных данных: FLAN V2, CoT, Dolly и OpenAssistant 1. Это плотная авторегрессионная модель примерно с 6,6 млрд параметров; для неё указаны библиотека Transformers и контекст до 2048 токенов. Модель предназначена для генерации текста по инструкциям: ответов на вопросы, выполнения текстовых заданий, рассуждений и генерации кода. Она обучена преимущественно на англоязычных данных, а карточка приводит результаты по нескольким академическим и прикладным бенчмаркам. Для лучшего качества следует соблюдать формат входного запроса, описанный в карточке. Репозиторий содержит diff весов, поэтому для использования нужна исходная модель LLaMA в формате Hugging Face. Указаны лицензия AI model license и исходная лицензия LLaMA; перед применением необходимо учитывать условия обеих лицензий. Модель не описана как мультимодальная и имеет ограниченное контекстное окно.

OrakzaiX — это общественный GGUF-релиз модели класса 8B на архитектуре Llama, поддерживаемый и квантизированный Faisal Orakzai в рамках экосистемы Orakzai. В метаданных указана базовая модель meta-llama/Llama-3-8B-Instruct; данных о самостоятельном обучении новой фундаментальной модели нет. Модель предназначена для локальной генерации текста и диалоговых сценариев: создания частных ассистентов, офлайн-прототипирования, разработки инструментов, суммаризации, извлечения технической информации, объяснения кода, автоматизации и экспериментов с многоагентными рабочими процессами. Формат GGUF рассчитан на запуск через совместимые средства, включая llama.cpp, на потребительском оборудовании, рабочих станциях, периферийных устройствах и частных серверах. Локальное выполнение может помочь сохранять запросы и ответы в контролируемой среде, однако безопасность зависит от настроек и окружения. Доступны варианты квантизации от Q2_K до Q8_0; рекомендуемым начальным вариантом указан Q4_K_M, обеспечивающий компромисс между качеством, скоростью и потреблением памяти. Фактические требования к ресурсам выше размера файла из-за контекста, KV-кэша и служебных буферов. Языки, размер контекстного окна, результаты бенчмарков, точность в специализированных областях, надежность вызова инструментов и возможности автономной работы не указаны. Лицензия обозначена как other; перед распространением или коммерческим использованием необходимо проверить условия лицензии OrakzaiX и базовой модели Meta.

OsaurusAI/Ornith-1.5-9B-MXFP8 — это 8-битная сборка модели Ornith 1.5-9B, подготовленная для MLX Джихо Джангом на основе модели Ornith AI. Она предназначена для агентного программирования, рассуждений и работы с инструментами. Архитектура Qwen3.5 сочетает gated-delta linear attention с полным вниманием в соотношении 3:1; модель имеет 27-слойную башню зрения. Размер файлов сборки — 9,45 GiB. Модель принимает текст, изображения и видео и выдаёт текст. Режим рассуждений включён по умолчанию; доступен вариант генерации без содержимого блока рассуждений. В карточке приведены результаты SWE-bench Verified 79 и Terminal-Bench 2.1 67,8. Сборка служит 8-битным эталоном качества для вариантов JANG. Лицензия — MIT.

Platyboros-Instruct-7B — разговорная модель Lodrick-the-Lafted на архитектуре Mistral, дообученная на Mistral-7B-Instruct-v0.2 с наборами jondurbin/airoboros-3.2 и garage-bAInd/Open-Platypus в формате Alpaca. Она предназначена для генерации ответов в диалоге и выполнения инструкций; принимает запросы в формате Mistral Instruct или Alpaca. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README приведены результаты оценки на Open LLM Leaderboard, включая показатели по AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.

PocketDoc_Dans-PersonalityEngine-V1.2.0-24b-GGUF — квантизированная GGUF-версия модели Dans-PersonalityEngine-V1.2.0-24b, разработанной PocketDoc и подготовленной пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста общего назначения, ролевого общения, написания историй, программирования, математических и логических задач, работы с инструментами, а также обсуждения тем химии, биологии и климата. Указан английский язык. Модель содержит 24 млрд параметров в исходной версии; опубликованы варианты квантизации Q4, Q5, Q6 и Q8 с размером файлов примерно от 14,83 до 25,05 ГБ. Поддерживается запуск через llama.cpp, LM Studio и другие совместимые проекты. В README не указаны точная архитектура исходной модели, размер контекстного окна и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются широкий набор задач, ориентация на диалоги, ролевые сценарии, художественное письмо, код и рассуждения, а также наличие вариантов с разным компромиссом между качеством и требованиями к памяти. Ограничения включают зависимость характеристик от выбранной квантизации и значительные требования к дисковому пространству и памяти. Модель распространяется по лицензии Apache-2.0.

QandoraExp-7B — языковая модель для генерации текста, созданная bunnycore с помощью слияния нескольких предварительно обученных моделей методом Della через mergekit. В качестве базовой использована Qwen/Qwen2.5-7B; в слияние также вошли Etherll/Qwen2.5-7B-della-test, jeffmeloy/Qwen2.5-7B-nerd-uncensored-v1.0 и fblgit/cybertron-v4-qw7B-MGS. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и имеет контекстное окно до 131 072 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Модель предназначена для диалоговой генерации текста и предоставляет интерфейс для вызова инструментов. В README приведены результаты оценок Open LLM Leaderboard: среднее значение 28,51, IFEval — 75,09 и BBH — 35,92. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя. Результаты приведённых оценок не гарантируют качество на конкретных задачах; также карточка не описывает отдельные ограничения модели.

sayhan/Qwen1.5-72B-Chat-LLaMAfied — версия Qwen1.5-72B-Chat от Alibaba Cloud, преобразованная в формат архитектуры LLaMA с помощью скрипта Minami-su. Это плотная языковая модель примерно на 71 млрд параметров для генерации текста в диалогах и других сценариях работы с текстом. Она принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. В карточке указаны английский и китайский языки, а формат файлов — PyTorch. Модель размещена под лицензией other; конкретные условия следует сверить с исходной лицензией Qwen1.5 и карточкой репозитория.