II.3Рефакторинг, миграция и модернизация

NVIDIA-Nemotron-3-Nano-4B-FP8 — компактная языковая модель (SLM), разработанная NVIDIA Corporation и обученная с нуля. Это FP8-квантизированная версия NVIDIA-Nemotron-3-Nano-4B-BF16, сжатая из NVIDIA-Nemotron-Nano-9B-v2 с использованием фреймворка Nemotron Elastic. Модель предназначена для унифицированной работы в задачах с рассуждениями и без них: она может формировать рассуждение перед итоговым ответом, причём режим рассуждений управляется системным промптом. Отключение рассуждений сокращает задержку и скрывает промежуточный вывод, но может немного снизить точность на сложных запросах. Архитектура гибридная и в основном состоит из слоёв Mamba-2 и MLP, дополненных четырьмя attention-слоями. Размер модели — 4B параметров; доступна FP8-квантизация. Поддерживается английский язык и языки программирования. Модель ориентирована на агентные сценарии на периферийных устройствах, включая Jetson Thor, GeForce RTX и DGX Spark: игровых NPC, локальных голосовых ассистентов для устройств, приложений и игр, а также автоматизацию IoT. Она также подходит для следования инструкциям, генерации текста и кода, математических и научных задач, использования инструментов и структурированных ответов. Заявлено окно контекста до 128K токенов по результатам оценки RULER. К сильным сторонам относятся сочетание режимов рассуждения и обычной генерации, высокая эффективность для компактной модели, пригодность для edge-развёртывания и коммерческого использования. Ограничения включают поддержку только английского языка, возможное снижение качества при отключённых рассуждениях и неравномерные результаты в отдельных агентных и прикладных бенчмарках. Использование регулируется NVIDIA Nemotron Open Model License.

Это GGUF-квантизированная версия языковой модели Nemotron-H-8B-Reasoning-128K, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, поддерживающих llama.cpp, включая LM Studio и другие совместимые проекты. Модель относится к классу reasoning-моделей, имеет около 8 миллиардов параметров и заявленный контекст до 128K токенов. Доступны варианты от полного BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Более высокие варианты, включая Q6_K_L и Q6_K, обеспечивают качество, близкое к исходному, а Q4-варианты предлагают более компактный запуск. Сильными сторонами являются большой контекст, возможность локального использования и широкий выбор квантизаций для разного оборудования. Ограничения связаны с потерями качества при более агрессивной квантизации; точный формат промптов, поддерживаемые языки, архитектурные детали и официальная лицензия в представленном README не указаны.

Open-Instruct Stanford Alpaca 13B — языковая модель семейства LLaMA с плотной архитектурой, дообученная Allen Institute for AI на наборе инструкций Stanford Alpaca в рамках исследования по instruction tuning на открытых ресурсах. Модель предназначена для генерации ответов на инструкции и запросы на английском языке; для работы с ней следует использовать описанный в карточке формат входного запроса. Модель содержит 12,9 млрд параметров, принимает текст и выдаёт текст. Её контекст составляет 2048 токенов. В карточке приведены результаты на наборах тестов по общим знаниям, математике, рассуждениям, вопросам и ответам, программированию и следованию инструкциям. Это diff весов, для использования которого требуется модель LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model license и исходной лицензией LLaMA.

Ornith-1.5-35B-A3B-AWQ-INT4 — это мультимодальная квантованная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста, рассуждений, программирования и обработки изображений в сценариях image-text-to-text. Она поддерживает контекст до 262 144 токенов; конкретный набор языков в материалах не указан. Модель построена на архитектуре fine-grained Mixture of Experts: в каждом из 40 слоёв имеется 256 экспертов, из которых для каждого токена активируются 8. Квантирование выполнено методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричными 4-битными весами и размером группы 32. Около 90% параметров хранятся в 4-битном формате, а активации остаются в BF16. Зрительная башня, attention-компоненты, эмбеддинги, выходная голова и multi-token prediction head сохранены в BF16. MTP head поддерживает speculative decoding в SGLang. Релиз ориентирован на эффективный запуск через SGLang, в частности на Intel Arc Pro B-series. К сильным сторонам относятся уменьшенный объём весов, поддержка мультимодального ввода, длинного контекста и speculative decoding. Проверка качества ограничена детерминированным smoke-тестом на связность, арифметическое и логическое рассуждение, программирование и базовое распознавание изображения; полноценные бенчмарки и сопоставление с BF16 не заявлены. Производительность и качество зависят от оборудования и рабочего сценария. Модель распространяется по лицензии MIT.

Phi-3-mini-4k-instruct-GGUF — квантованная версия легковесной языковой модели Phi-3-mini-4k-instruct, разработанной Microsoft и опубликованной в формате GGUF для локального запуска. В README указано, что модель обучалась на наборах данных Phi-3, включающих синтетические данные и отфильтрованные общедоступные веб-материалы с акцентом на качество и задачи, требующие рассуждений. Модель предназначена для генерации текста, диалоговых сценариев и других задач обработки естественного языка, включая работу с кодом. Она поддерживает английский язык, имеет контекстное окно 4096 токенов и относится к текстовым моделям. Формат GGUF совместим с приложениями на базе llama.cpp, включая Backyard AI, и позволяет распределять вычисления между CPU и GPU. Ключевое преимущество модели — компактность и возможность локального запуска на более широком спектре оборудования благодаря квантованию, которое снижает требования к ресурсам. Ограничением является компромисс между эффективностью и качеством: при более низкой точности квантования могут снижаться связность и качество ответов. Конкретный уровень квантования в README не указан. Базовая модель распространяется по лицензии MIT; для этой версии также указана лицензия MIT.

Qwen3.5-9B Triple-Loop Phase 1 Step 2100 — экспериментальная дообученная языковая модель Lordnyx на основе Qwen/Qwen3.5-9B. Она предназначена для диалоговой генерации текста, рассуждений, решения математических задач, программирования и логических задач. Модель использует гибридную архитектуру Gated-DeltaNet и полного внимания; средние 16 слоёв трижды выполняются с общими весами, что даёт заявленную виртуальную глубину в 64 слоя при обычном объёме параметров. Обучение включало дистилляцию по логитам учителя Qwen/Qwen3.8-27B и глубокий надзор. В карточке заявлены контекст до 262 144 токенов и 7,2 млрд параметров по метаданным. Доступны веса Safetensors и GGUF, включая квантованный вариант Q5_K_M; указаны Apache-2.0. Автор сообщает о результатах на собственном наборе из 97 задач, включая 100% на математической подвыборке из 10 заданий, но эти результаты не гарантируют качество на других данных. Модель обозначена как экспериментальная ранняя фаза обучения; заявлена совместимость со стандартными средствами запуска Qwen3.5.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B. Её разработал DavidAU при участии Nightmedia, TeichAI, armand0e и trohrbaugh; обучение и подготовка выполнялись с использованием Unsloth. Модель распространяется в формате GGUF, включая обычные и MTP-варианты, а также различные уровни квантования. Модель предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, диалогов, творческого письма, ролевых сценариев и работы с изображениями. Заявлены улучшенные instruction following, общая способность к решению задач и reasoning. Поддерживаются английский и китайский языки; README также заявляет мультимодальность с поддержкой vision. Размер контекста и точные технические параметры архитектуры не указаны. К сильным сторонам относятся доступность квантованных вариантов для потребительского оборудования, улучшения относительно базовой модели по заявленным бенчмаркам и сохранение широкого набора исходных возможностей Qwen. При этом утверждения о превосходстве основаны на данных автора и сторонних проверках, поэтому их следует интерпретировать с осторожностью. Модель помечена как uncensored/heretic, что может означать ослабленные ограничения безопасности и делает необходимой дополнительную проверку результатов при практическом использовании. Лицензия — Apache-2.0.

Fmuaddib/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16-mlx-8Bit — языковая модель для генерации текста, преобразованная в формат MLX из AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 с использованием mlx-lm 0.31.2. Модель относится к семейству Qwen3.8 и имеет 27 млрд параметров; в метаданных указана поддержка английского, китайского и других языков. Модель предназначена для диалоговых и инструкционных сценариев, программирования, рассуждений, а также заявленных в метаданных задач function calling и tool calling. Для запуска используется библиотека mlx-lm, предусмотрена работа с chat template. В метаданных также отмечены vision и multimodal, однако README не содержит подробностей о поддерживаемых форматах входных данных и возможностях обработки изображений. Ключевая особенность этой версии — представление в MLX с 8-битным квантованием, что ориентировано на запуск в экосистеме Apple Silicon и может снизить требования к памяти по сравнению с полноразмерной версией. При этом README не приводит результаты тестов, сведения о размере контекста, точной архитектуре, аппаратных требованиях или сравнительных оценках качества. Модель распространяется по лицензии Apache-2.0.

Qwen_Qwen3-32B-GGUF — это квантизированная версия языковой модели Qwen3-32B, разработанной командой Qwen и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp, включая использование на системах с ограниченными ресурсами. В набор входят варианты с разными уровнями квантизации: от BF16 и Q8_0 до Q2_K и IQ2_M. Размер файлов составляет примерно от 12 до 65 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix; для работы рекомендуется применять шаблон промпта Qwen3 с ролями system, user и assistant. Более высокие варианты квантизации обеспечивают качество, близкое к исходной модели, тогда как младшие варианты экономят память за счёт заметного снижения качества. Сильными сторонами являются широкий выбор форматов, возможность локального запуска и хорошее соотношение качества и требований к памяти у вариантов Q4–Q6. Ограничения включают значительный объём файлов, зависимость характеристик от выбранного уровня квантизации и отсутствие в предоставленных данных сведений о поддерживаемых языках, размере контекстного окна, точной архитектуре и мультимодальности. Модель распространяется по лицензии Apache-2.0.

Supertron2-1.7B — компактная языковая модель Surpem для генерации текста и диалогов, дообученная на Qwen/Qwen3-1.7B. Это плотный Transformer с 1,7 млрд параметров и контекстом до 40 960 токенов; модель предназначена для работы с инструкциями и поддерживает английский язык. Она подходит для пошаговых рассуждений, решения математических задач, написания и отладки кода, объяснения научных тем и повседневных диалогов. В README заявлена возможность локального запуска на потребительском оборудовании; для инференса указаны ориентиры от 5 ГБ видеопамяти в bfloat16 или от 3 ГБ при 4-битной квантизации. Модель распространяется по лицензии Apache 2.0. Как и другие компактные языковые модели, она может ошибаться в фактах, вычислениях и коде; README не приводит независимых результатов оценки качества.

Карточка модели sabeshbesh/Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

ANITA-NEXT-20B-gpt-oss-ITA — языковая модель семейства ANITA, разработанная Марко Полиньяно и исследовательской группой SWAP Университета Бари Альдо Моро. Это дообученная методом SFT с QLoRA и дополнительно выровненная с помощью DPO версия openai/gpt-oss-20b. Модель предназначена для диалогов, генерации текста и кода, агентных сценариев и последующего дообучения для задач на итальянском языке. Модель принимает текст и генерирует текст; карточка характеризует её как мультиязычную с акцентом на итальянский и английский. Архитектура — GPT-OSS с разреженной экспертной моделью (MoE), в репозитории используются веса Safetensors. Метаданные указывают 1,6 млрд параметров и контекст до 131 072 токенов; README предупреждает, что качество ответов ухудшается после 40 000 токенов. Лицензия — Apache-2.0. Модель подходит для италоязычных диалогов, генерации кода и построения агентных приложений. Разработчик предупреждает о возможных галлюцинациях и некорректных, оскорбительных или опасных ответах, поэтому результаты требуют проверки. В README релиз обозначен как предназначенный для исследовательских целей.

Beyonder-4x7B-v3 — разговорная языковая модель mlabonne, созданная как смесь экспертов (MoE) с помощью LazyMergekit. В объединение вошли AlphaMonarch-7B, CodeNinja-1.0-OpenChat-7B, Kunoichi-DPO-v2-7B и NeuralDaredevil-7B; архитектура — MixtralForCausalLM. В метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов, тогда как README рекомендует окно 8 тысяч токенов и шаблон чата Mistral Instruct. Модель предназначена для диалогов общего назначения, ролевого общения, задач с кодом и математикой. По README, при генерации задействуются два эксперта, что позволяет сочетать эти способности. Автор отмечает хорошие результаты на нескольких наборах оценок, но предупреждает, что модель не нацелена на превосходство в традиционных бенчмарках; результаты оценки не гарантируют качество в конкретных приложениях. Модель принимает текст и генерирует текст. Языки отдельно не перечислены. Репозиторий распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Dirk-Qwen3.8-27B-MLX-oQ6e — это квантизированная MLX-версия базовой модели Qwen/Qwen3.8-27B, разработанная автором peculiar-ragdoll. Модель представляет собой плотную vision-language модель с поддержкой текста и изображений, ориентированную на работу на компьютерах Apple Silicon через MLX и совместимые среды, включая oMLX и mlx-vlm. Заявленная языковая поддержка включает английский и китайский языки. Модель использует смешанную квантизацию oQ6e с калибровкой imatrix и размером около 22,1 ГБ, примерно 6,9 бит на вес. Веса, vision tower и MTP-head сохранены; MTP может применяться для speculative decoding и ускорения генерации в совместимых runtime. Максимальное окно контекста в примере конфигурации составляет 262144 токена. В комплект включён Sharp chat template v22.5.0, который по умолчанию задаёт компактные ответы и средний уровень рассуждений; уровень reasoning effort можно менять от low до xhigh, а рассуждения — отключать. Модель предназначена для диалогов, анализа изображений, программирования, агентских сценариев и задач, где важны краткость и скорость получения ответа. К её сильным сторонам относятся сохранённая мультимодальность, поддержка MTP, готовый шаблон чата и несколько уровней глубины рассуждений. Ограничения связаны с требованиями к памяти: вариант oQ6e рассчитан примерно на системы с 32 ГБ памяти, а MTP поддерживается не всеми загрузчиками. Для корректной работы требуется использовать mlx-vlm версии не ниже 0.6.3, а не mlx-lm. README также приводит предварительные результаты бенчмарков, которые ещё находятся в процессе измерения, поэтому их нельзя считать окончательными. Модель распространяется по лицензии Apache-2.0.

Momix-44/gemma-4-31B-it-heretic-v2 — модифицированная версия мультимодальной модели Google DeepMind gemma-4-31B-it. Модель создана с использованием Heretic 1.2.0 и метода Magnitude-Preserving Orthogonal Ablation (MPOA), направленного на снижение количества отказов в ответах. Согласно README, она предназначена для генерации текста, рассуждений, программирования и анализа изображений. Модель относится к плотной архитектуре Gemma 4 и содержит около 30,7 млрд параметров, 60 слоёв и контекстное окно до 256 тысяч токенов. Она принимает текстовые и визуальные входные данные и генерирует текст. Архитектура использует гибридное внимание с чередованием локального sliding window attention и глобального внимания; размер скользящего окна составляет 1024 токена. Семейство Gemma 4 поддерживает более 140 языков, однако отдельные характеристики языкового покрытия именно этой производной модели не указаны. Ключевая особенность модели — существенно меньшее число отказов по сравнению с исходной gemma-4-31B-it: в приведённом тесте 37 из 100 против 99 из 100 у оригинала. При этом значение KL divergence составляет 0,3801, поэтому поведение и распределение ответов отличаются от базовой модели. README не содержит независимых оценок качества, а снижение защитных ограничений может повышать риск генерации небезопасного или нежелательного контента. В качестве лицензии указана Apache 2.0 со ссылкой на лицензию Gemma 4.

Mungert/GigaChat3-10B-A1.8B-GGUF — GGUF-квантизированная версия диалоговой модели GigaChat3-10B-A1.8B, созданная на основе ai-sage/GigaChat3-10B-A1.8B-bf16 с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с русским и английским языками, а также другими языками, добавленными в обучающий корпус. Модель использует архитектуру Mixture-of-Experts (MoE) с 10 млрд общих и 1,8 млрд активных параметров, Multi-head Latent Attention (MLA) для снижения требований к памяти и Multi-Token Prediction (MTP) для ускорения генерации. Обучение проводилось на 20 трлн токенов, включая данные по книгам, академическим материалам, программированию и математике, а также около 5,5 трлн токенов синтетических данных. Длина контекста в представленном описании не указана. GGUF-версия ориентирована на эффективный локальный инференс в экосистеме llama.cpp. В сборке применяется квантизация с выборочным повышением точности отдельных важных слоёв, что может улучшать качество при заданном уровне квантизации, но увеличивает размер файла. Ограничениями являются возможная потеря точности по сравнению с исходной bf16-версией и отсутствие в карточке подробностей о конкретных вариантах квантизации, размере файлов и измерениях качества именно этой GGUF-сборки. Лицензия — MIT.

Goku-8x22B-v0.1 — дообученная MaziyarPanahi версия v2ray/Mixtral-8x22B-v0.1 на наборе philschmid/guanaco-sharegpt-style. Это диалоговая языковая модель с архитектурой Mixtral типа Mixture of Experts; в карточке указаны 22 млрд параметров, а README приводит конфигурацию на 141 млрд параметров, из которых активны 35 млрд. Контекст составляет до 65 536 токенов, модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев: ответов на вопросы, работы с длинным контекстом, написания кода и задач на рассуждение. В метаданных перечислены английский, французский, итальянский, немецкий и испанский языки. Модель распространяется по лицензии Apache-2.0. Карточка сообщает о тестировании на перечисленных сценариях, но не приводит результатов бенчмарков; качество для математики и программирования отдельно не подтверждено.

unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

Это набор GGUF-квантизаций модели gradientai/Llama-3-8B-Instruct-Gradient-4194k, подготовленный и опубликованный командой featherless-ai-quants. Базовая модель относится к семейству Llama 3 с размером 8 млрд параметров и предназначена для генерации текста, включая работу в инструкционном режиме. README не уточняет разработчика базовой модели, архитектурные детали, языки и поддерживаемые модальности. Модель рассчитана на сценарии локального или совместимого с GGUF запуска, где требуется выбрать баланс между качеством, скоростью и потреблением памяти. Доступны варианты Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0; их размер варьируется примерно от 3,0 до 8,1 ГБ. README указывает контекст 4194k в идентификаторе базовой модели, однако не подтверждает фактическую длину контекста. Сильной стороной набора является широкий выбор уровней квантизации и формат GGUF, позволяющий адаптировать модель под различные аппаратные ограничения. Более компактные варианты требуют меньше памяти, но потенциально уступают старшим вариантам по качеству; конкретные результаты производительности и качества в README не приведены. Лицензия и условия использования не указаны, поэтому их необходимо проверять в документации базовой модели и репозитории.

Hermes-2-Theta-Llama-3-8B-GGUF — это квантизированная версия текстовой инструкционной модели Hermes-2-Theta-Llama-3-8B. Исходная модель разработана NousResearch, а квантизации в формате GGUF выполнены bartowski с использованием llama.cpp и метода imatrix. Модель основана на NousResearch/Hermes-2-Pro-Llama-3-8B и обучалась с применением методов дообучения, DPO, RLHF, дистилляции и синтетических данных, включая датасет teknium/OpenHermes-2.5. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций на английском языке. Заявлены возможности работы с function calling и JSON mode; для общения используется шаблон ChatML с системными, пользовательскими и ассистентскими сообщениями. Это текстовая модель без заявленной поддержки изображений или других дополнительных модальностей. Размер базовой модели — 8B параметров, однако точный размер контекста в README не указан. Главное преимущество набора — наличие множества вариантов квантизации с разным соотношением качества и требований к памяти: от Q8_0 размером 8,54 ГБ до IQ1_M размером около 2,39 ГБ. В README наиболее рекомендуются варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; более компактные варианты экономят память, но снижают качество. Лицензия в предоставленных данных не указана.

HuskyLM 2.5 — диалоговая языковая модель Darkcloud AI, дообученная на основе meta-llama/Meta-Llama-3-8B-Instruct с применением supervised fine-tuning, Direct Preference Optimization и собственной методики RLAIF. Это плотная Llama 3 модель для генерации текста и общения; в метаданных указаны 7,5 млрд параметров, контекст 8192 токена и формат Safetensors. Модель рассчитана на английский язык, а автор заявляет поддержку ряда других языков, включая китайский, испанский, французский и польский. Модель предназначена для следования системным инструкциям и общих диалоговых сценариев: написания текстов и кода, работы чат-агентом и создания реплик NPC. Среди заявленных достоинств — разговорные навыки, выполнение инструкций и дружелюбный тон. Она может ошибаться, несмотря на заявленный акцент на правдивости; сведения о знаниях ограничены декабрём 2023 года. Лицензия — Llama 3 License.

Jack-3.8-27B-V2-VL-16GB-VRAM — мультимодальная модель независимого исследователя Джонатана Майкла Лэнгфорда и проекта Jack, созданная на основе Qwen/Qwen3.8-27B и рассчитанная на локальный запуск через llama.cpp. Репозиторий содержит веса GGUF и BF16 мультимодальный проектор для работы с изображениями; заявленное назначение — диалоговая и агентная работа с длинным контекстом, включая программирование и многошаговые задачи. Модель использует протокол Jack V2: структурирование рабочего состояния в XML после основного рассуждения, отделение наблюдений и предположений, учёт актуальности сведений и проверку точных результатов детерминированными инструментами. По описанию автора, это предназначено для задач, где важно не смешивать устаревшие планы, конфигурации и результаты. Автор ориентирует релиз на GPU класса 16 ГБ; для полного режима обработки изображений требуется загрузить приложенный проектор. В README рекомендуется отключить MTP; Q4 KV cache описан как результат ранних локальных наблюдений, а не универсальная настройка. Модель имеет 27 млрд параметров; контекстное окно в предоставленных данных не указано. Лицензия — Apache-2.0. Заявленные преимущества протокола и поведение при локальном тестировании основаны на описании автора; независимые сравнительные оценки в предоставленных материалах отсутствуют.

Jantrit-7B — языковая модель на архитектуре Mistral, созданная автором репозитория с помощью LazyMergekit путём слияния OpenHermes-2.5-Mistral-7B и Dolphin-2.6-Mistral-7B методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; заявленная длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст. Базовые модели предназначены для общения, генерации текста и помощи с кодом, однако README не приводит отдельной оценки качества Jantrit-7B. Сведения о лицензии в предоставленных данных отсутствуют.

Primitive AI представляет квантизированную версию IFM/K2-Horizon-MoVA-36B-A4B — разреженной MoE-модели для генерации текста, рассуждений и вызова инструментов. Модель предназначена для серверного инференса и сценариев, где важны качество рассуждений, tool calling и размещение на одной видеокарте. Поддержка интегрирована в ветку main проекта vLLM; опубликованный вариант рассчитан на использование с Transformers, compressed-tensors и vLLM. Модель имеет 45 разреженных слоёв и общий размер 36B параметров при активных примерно 4B параметров на токен. В данной сборке 15 экспертных слоёв используют NVFP4, а остальные 30 — FP8 с блочными масштабами [128,128]. Размер файлов составляет 44,48 ГБ, что примерно на 8% меньше официальной FP8-версии и в 1,7 раза меньше BF16-варианта. Заявлена работа с контекстом до 32 768 токенов; на одной 96-ГБ видеокарте модель запускается без tensor parallelism. Сведения о поддерживаемых языках в README не указаны. Сильными сторонами являются сохранение уровня знаний, сопоставимого с BF16 и официальной FP8-версией, а также более высокая точность вызова инструментов по сравнению с альтернативной сборкой на чистом NVFP4. Модель требует GPU с архитектурой NVIDIA Blackwell и не тестировалась для Ampere, поскольку использует FP8-тензорные ядра. Для запуска нужен nightly или сборка vLLM из main с поддержкой K2-Horizon; стабильная версия 0.28.0 эту поддержку не содержит. Настройка уровня рассуждений выполняется на уровне сервера. Модель распространяется по лицензии Apache-2.0.

Theros/L3-ColdBrew-R1-test1 — языковая модель на архитектуре Llama, созданная разработчиком Theros слиянием весов через mergekit методом DARE TIES. В слиянии использованы Theros/L3-ColdBrew-Daybreak и deepseek-ai/DeepSeek-R1-Distill-Llama-8B; итоговая модель содержит 7,5 млрд параметров и работает с контекстом до 8192 токенов. Модель предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, математических задач, программирования и многошаговых рассуждений — эти возможности описаны для базовой модели DeepSeek-R1-Distill-Llama-8B. Метаданные указывают на поддержку чата, но README не приводит собственных примеров или оценок качества слияния. Репозиторий содержит веса Safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

Llama-3.3-70B-Instruct-abliterated-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama 3.3 с заявленным размером 70 млрд параметров. Модель подготовлена и опубликована bartowski, а исходная модель разработана Meta. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. В метаданных указаны языки английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий. Модель работает только с текстом; сведения о поддерживаемых модальностях, архитектуре в деталях и размере контекста в предоставленных данных отсутствуют. Формат GGUF ориентирован на локальный запуск в совместимом программном обеспечении, а квантизация может снизить требования к памяти по сравнению с полной версией, но конкретный вариант квантизации в README не указан. Суффикс «abliterated» указывает на модифицированную версию, однако подробности изменений, их влияние на качество и безопасность, а также результаты тестирования не приведены. Поэтому характеристики точности, устойчивости и ограничения модели следует проверять отдельно. Распространение и использование основаны на Llama 3.3 Community License от Meta с требованиями по соблюдению Acceptable Use Policy, включению текста лицензии и атрибуции «Built with Llama» при распространении материалов или производных продуктов; для организаций с более чем 700 миллионами ежемесячных пользователей предусмотрено отдельное лицензионное условие.

MaziyarPanahi/Llama-3-70B-Instruct-32k-v0.1-GGUF — набор файлов модели в формате GGUF для MaziyarPanahi/Llama-3-70B-Instruct-32k-v0.1. Модель разработана и квантизирована MaziyarPanahi, относится к семейству Llama 3 и предназначена для генерации текста и выполнения инструкций. В названии указаны 70 миллиардов параметров и контекст до 32 тысяч токенов; сведения о поддерживаемых языках и точной архитектуре в README не приведены. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством работы. Формат поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов для локального запуска, включая сценарии с GPU-ускорением и OpenAI-совместимым API. README не содержит результатов оценивания, подробного описания сильных и слабых сторон, а также информации о лицензии, поэтому эти характеристики нельзя определить по предоставленным данным.

OpenRLHF/Llama-3-8b-sft-mixture — плотная языковая модель семейства Llama, выпущенная командой OpenRLHF. Это контрольная точка supervised fine-tuning модели Meta-Llama-3-8B на смеси открытых наборов данных: ShareGPT, Evol-Instruct, SlimOrca, MathInstruct, Magicoder-Evol-Instruct, GPT4-LLM, OrcaMath, GPTeacher и UltraInteract. Обучение длилось одну эпоху; модель содержит 7,5 млрд параметров и использует контекст до 8192 токенов. Модель генерирует текст в диалоговом формате и предназначена для использования как отправная точка в исследованиях RLHF. Она не проходила RLHF-обучение. В README указано, что исправлена конфигурация генерации; подробные параметры обучения приводятся в техническом отчёте. Лицензия в предоставленных данных не указана.

Meta-Llama-3-120B-Instruct-GGUF — это GGUF-квантизированная версия текстовой instruction-tuned языковой модели Meta-Llama-3-120B-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как mlabonne/Meta-Llama-3-120B-Instruct, основанная на Meta-Llama-3-70B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев с применением системных и пользовательских инструкций. Доступны варианты квантизации Q2–Q8 и IQ, размером примерно от 32,60 до 129,52 ГБ. Более высокие варианты, включая Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, обеспечивают лучшее качество, но требуют больше памяти; низкобитные варианты экономичнее, однако могут заметно уступать в качестве. Формат GGUF и совместимость с llama.cpp подходят для локального запуска, но README не содержит данных об архитектуре, поддерживаемых языках, модальностях и размере контекста. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Для работы требуется выбрать подходящий файл квантизации и использовать специальный chat-шаблон с токенами Meta Llama 3. Лицензия обозначена как other, однако её конкретные условия в README не приведены.

RedHatAI/Meta-Llama-3.1-8B-FP8 — квантизированная версия базовой текстовой модели Meta-Llama-3.1-8B, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для коммерческого и исследовательского использования, включая многоязычные сценарии. В README указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако отдельно отмечено ограничение на использование в языках, отличных от английского. Модель использует архитектуру Meta-Llama-3.1 и формат FP8 для квантизации весов и активаций линейных операторов в трансформерных блоках. Применяется симметричная поканальная для всего тензора квантизация с фиксированным масштабированием; выходной слой lm_head не квантизируется. Размер модели — 8 миллиардов параметров. Оптимизация уменьшает число бит на параметр с 16 до 8, а также примерно на 50% сокращает требования к дисковому пространству и памяти GPU. Модель подготовлена для инференса с vLLM. К сильным сторонам относятся снижение требований к памяти и более эффективное развертывание при сохранении характеристик исходной модели: средний результат на OpenLLM benchmark v1 составил 65,90 против 66,47 у неквантизированной версии. К ограничениям относятся возможная потеря качества из-за квантизации, отсутствие заявленной информации о размере контекста и необходимость совместимого окружения vLLM. Модель распространяется по лицензии llama3.1.