II.2Создание и понимание программного кода

microsoft_Phi-4-reasoning-GGUF — это набор GGUF-квантизированных вариантов языковой модели Phi-4-reasoning, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов, решения математических задач, работы с кодом и задач, требующих рассуждений. Модель поддерживает текстовый ввод и вывод; в метаданных указан английский язык. Доступны варианты от BF16 до низкобитных квантов Q8_0, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, требованиями к памяти и скоростью локального запуска. Размер файлов варьируется примерно от 8,4 до 29,3 ГБ. Архитектура, число параметров, максимальный контекст и дополнительные модальности в README не указаны. Сильными сторонами являются наличие вариантов с разным уровнем сжатия, высокая заявленная точность старших квантов и совместимость с llama.cpp, LM Studio и другими проектами на его основе. Ограничения включают возможное снижение качества у низкобитных вариантов, необходимость значительного объёма памяти и отсутствие подробных данных о производительности, контекстном окне и поддерживаемых языках помимо английского. Распространение указано по лицензии MIT.

MiMo-V2.6-Distill-Qwen-9B-GGUF — это квантизированная версия модели MiMo-V2.6-Distill-Qwen-9B, разработанной XiaomiMiMo и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 9 млрд параметров и предназначена для локального запуска в задачах генерации текста, программирования, агентских сценариев и использования инструментов. Также заявлена поддержка изображений, но для работы с ними требуется отдельный файл mmproj. Модель поддерживает текстовые и графические входные данные, однако сведения о языках и размере контекстного окна в README не указаны. Доступны варианты с разными уровнями квантизации — от BF16 и Q8_0 до более компактных Q3 и IQ-форматов. В качестве компромисса между качеством и требованиями к памяти рекомендуется Q4_K_M размером около 5,84 ГБ; варианты Q6 и Q8 обеспечивают более высокое качество, но требуют больше памяти. Поддержка speculative decoding отсутствует, при этом использовалась imatrix-квантизация. Для корректной работы необходимо применять указанный шаблон промпта на основе специальных токенов ChatML; модель также поддерживает передачу определений инструментов в системном сообщении. README не содержит сведений о лицензии, точной архитектуре, языковом охвате и контекстном окне, поэтому эти характеристики нельзя подтвердить.

Minitron-4B-Base — базовая большая языковая модель NVIDIA для генерации текста. Она создана из Nemotron-4 15B: разработчики сократили размер эмбеддингов, число голов внимания и промежуточный размер MLP, а затем продолжили обучение с дистилляцией на 94 млрд токенов. Модель насчитывает 4,3 млрд параметров; её архитектура — авторегрессионный Transformer-декодер Nemotron с Grouped-Query Attention и Rotary Position Embeddings. Контекст составляет 4096 токенов. Модель принимает текст и генерирует текст. Она предназначена для исследований и разработки, включая генерацию и продолжение текста, ответы на вопросы, математические задачи и генерацию кода. В обучающих данных были английский и мультиязычный текст, а также код; корпус включал материалы из разных областей, в том числе право, математику, науку и финансы. Карточка приводит результаты оценок на MMLU, HellaSwag, Winogrande, GSM8K, ARC-C, XLSum и HumanEval. Модель может выдавать неточные, неполные или избыточные ответы, а также воспроизводить токсичный язык и предубеждения из обучающих данных. Данные предварительного обучения имеют срез по июнь 2023 года. Лицензия указана как other; перед использованием следует ознакомиться с условиями NVIDIA. Модель отмечена разработчиком как предназначенная для исследований и разработки.

Mistral-7B-Uncensored — разговорная текстовая модель на базе архитектуры Mistral 7B с примерно 7 миллиардами параметров. Согласно карточке, её разработчик и сопровождающий — luvGPT; модель создана посредством дообучения, ориентированного на выполнение инструкций. Указанный язык — английский, основная модальность — текст. Репозиторий содержит квантованную версию для локального запуска. Модель предназначена для диалоговых сценариев, следования инструкциям, творческого письма, открытого обсуждения, помощи с кодом и техническими объяснениями. Она ориентирована на локальное и автономное использование, включая приватные или изолированные среды, исследование prompt engineering и alignment, а также эксперименты с пользовательской настройкой поведения. Поддерживается формат диалога с ролями system, user и assistant; заявлена стабильная работа в продолжительных разговорах и выполнение многошаговых задач. К сильным сторонам относятся компактный для локального развертывания размер, пригодность для квантованных и CPU-ориентированных сред, гибкость и сниженный уровень автоматической фильтрации. Ограничение модели заключается в отсутствии встроенного защитного фильтра: ответственность за применение и управление рисками возлагается на оператора. Модель распространяется по лицензии Apache 2.0.

Карточка модели grimjim/mistralai-Mistral-Nemo-Base-2407 на Hugging Face совпадает с карточкой mistralai/Mistral-Nemo-Base-2407, поэтому описание составлено по ней. Mistral-Nemo-Base-2407 — предварительно обученная генеративная языковая модель, совместно разработанная Mistral AI и NVIDIA. Это плотный трансформер Mistral с 12,1 млрд параметров, 40 слоями, группированным вниманием к запросам (GQA) и словарём примерно на 128 тысяч токенов. Модель выпущена в июле 2024 года и распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и служит базой для дальнейшей адаптации под конкретные задачи. Она обучалась на многоязычных данных и коде; заявленное окно контекста составляет 128 тысяч токенов. Среди указанных языков — английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. Для запуска рекомендован mistral-inference; README также описывает использование через Transformers. Карточка приводит результаты на общих и многоязычных бенчмарках и рекомендует для генерации температуру 0,3. Поскольку это базовая предварительно обученная модель, она не имеет механизмов модерации и не является специализированной инструкционной версией; поведение в прикладных сценариях может требовать дополнительной настройки. Для неё доступна также отдельная instruct-версия.

RedHatAI/Mistral-Small-3.2-24B-Instruct-2506-NVFP4 — квантизированная FP4-версия инструкционной текстовой модели unsloth/Mistral-Small-3.2-24B-Instruct-2506, разработанная RedHatAI. Модель принимает текст и генерирует текст, поэтому предназначена для диалоговых сценариев, выполнения инструкций и задач общего назначения, включая объяснение понятий и программирование. Указаны языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако README отдельно ограничивает использование английским языком. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в формат FP4 с группировкой 16; для квантизации использовался LLM Compressor и калибровочные данные UltraChat. По сравнению с 16-битным представлением это примерно на 75% уменьшает размер модели на диске и требования к GPU-памяти, что делает модель подходящей для более эффективного инференса. Для запуска заявлена совместимость с vLLM версии 0.9.1 и выше. Ключевое преимущество модели — снижение потребления памяти и размера при сохранении назначения базовой инструкционной модели; качество оценивалось на бенчмарках OpenLLM v1, OpenLLM v2 и HumanEval_64, но подробные результаты в представленном README не приведены. Ограничения включают возможные потери качества из-за агрессивной 4-битной квантизации, отсутствие данных о размере контекстного окна и мультимодальности, а также заявленное ограничение использования английским языком. Модель распространяется по лицензии Apache-2.0.

Это набор файлов модели Qwen3-8B-bf16 в формате GGUF, подготовленный сообществом mlx-community при поддержке TensorBlock. Репозиторий содержит варианты с разными уровнями квантования и совместим с llama.cpp начиная с коммита b5753; метаданные также указывают библиотеку MLX. Для диалога используется шаблон с сообщениями system, user и assistant. Модель предназначена для генерации текста и диалогов. Её можно применять для ответов на вопросы, написания черновиков и помощи с кодом. Варианты квантования отличаются размером и качеством: README предупреждает о значительной потере качества у самых компактных вариантов Q2_K и Q3_K. Указана лицензия Apache-2.0.

MyAwesomeModel — языковая модель, опубликованная в репозитории mcptester0606/MyAwesomeModel-TestRepo. Разработчик явно не указан. Модель реализована на базе библиотеки Transformers и ориентирована на задачи рассуждения, понимания и генерации текста, включая математику, программирование, логику, ответы на вопросы, классификацию, анализ тональности, суммаризацию, перевод, диалоговую генерацию и следование инструкциям. Также заявлены поддержка function calling, системных промптов, загрузки файлов и генерации с использованием результатов веб-поиска через специальные шаблоны запросов. По данным README, обновлённая версия получила более глубокое рассуждение и улучшенные алгоритмы постобучения. На тесте AIME 2025 точность выросла с 70% до 87,5%, а средний объём рассуждений увеличился примерно с 12 до 23 тысяч токенов на задачу. В сравнительных оценках модель показывает наиболее заметные результаты в логическом рассуждении, генерации кода, понимании текста и следовании инструкциям, однако README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках и размере контекста. Увеличенная глубина рассуждений может повышать вычислительные затраты и задержку ответа; конкретные ограничения и результаты независимой оценки не указаны. Лицензия модели — MIT.

NeuralHermes-2.5-Mistral-7B-laser — экспериментальная версия разговорной модели NeuralHermes от mlabonne, основанная на teknium/OpenHermes-2.5-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она дообучена на парах предпочтений ChatML методом Direct Preference Optimization (DPO), а затем оптимизирована методом LASER на основе выборочного снижения ранга слоёв и теории случайных матриц. Модель предназначена для диалогов и выполнения инструкций, генерации текста, ответов на вопросы и помощи с кодом. В карточке приведены результаты нескольких тестовых наборов; они близки к показателям исходной NeuralHermes-2.5-Mistral-7B. Для запуска указаны LM Studio и другие пользовательские интерфейсы. Модель принимает текст и генерирует текст. Карточка указывает английский язык и лицензию Apache-2.0. Версия обозначена автором как экспериментальная, поэтому результаты оценки не гарантируют качество в конкретных сценариях; возможны обычные для языковых моделей ошибки и неточные ответы.

Nex-N2.5-mini-Uncensored-APEX-GGUF — набор GGUF-квантизаций модели Nex-N2.5-mini от Nex-AGI, подготовленный на базе варианта orcarouter/Nex-N2.5-mini-Uncensored с использованием llama.cpp и localai-org/apex-quant. Модель позиционируется как abliterated, то есть с уменьшенной склонностью к отказам. Формат предназначен для локального запуска через llama.cpp и совместимые интерфейсы. Модель поддерживает текстовые и визуальные сценарии, включая анализ изображений, работу с английским и китайским языками, генерацию текста, программирование и задачи, требующие длинного контекста. Архитектура — Mixture-of-Experts примерно на 34 млрд параметров: 40 слоёв, 256 маршрутизируемых экспертов, выбор 8 экспертов на токен и один общий эксперт в каждом слое. Используется гибрид gated-delta-net и полноразмерного внимания, максимальный контекст заявлен до 262 144 токенов. Основное преимущество — MoE-архитектура и APEX-квантизация со смешанной точностью, которая позволяет выбирать разные уровни точности для слоёв и групп тензоров, обеспечивая несколько вариантов баланса между размером и качеством. Доступны профили Mini, I-Compact, I-Quality и I-Balanced, однако конкретные файлы могут присутствовать не все. Для работы с изображениями требуется отдельный F16-проектор mmproj. Реальное качество зависит от выбранного профиля, аппаратных ресурсов и клиента; приведённые в README внешние результаты APEX нельзя считать измерениями именно этих файлов. Для запуска рекомендуется современная версия llama.cpp, при этом возможна частичная выгрузка слоёв на GPU. Лицензия модели — Apache-2.0.

Карточка модели PS4Research/NfEJUrTPxT77xQ8f на Hugging Face совпадает с карточкой PS4Research/0VOz3fgU0qp4lVar, поэтому описание составлено по ней. PS4Research/0VOz3fgU0qp4lVar — дообученная модель генерации текста на архитектуре Olmo 3, созданная PS4Research на основе allenai/Olmo-3.1-32B-Think. В карточке указано, что для обучения использовались Unsloth и библиотека TRL от Hugging Face; модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; интерфейс поддерживает вызов инструментов. Базовая модель ориентирована на английский язык и задачи рассуждений, в том числе математику и программирование. Сведений о специальных улучшениях, полученных при дообучении, в карточке нет. Лицензия — Apache-2.0.

TheBloke разместил эту модель в формате PyTorch fp16: это Nous-Hermes-13B от Nous Research, объединённая с адаптером SuperHOT 8K от Kaio Ken. Модель основана на плотной архитектуре LlamaForCausalLM и содержит около 12,9 млрд параметров. При настройке инференса с поддержкой remote code она рассчитана на контекст до 8192 токенов. Модель предназначена для диалогов, следования инструкциям и генерации текста, включая творческие ответы, ролевые сценарии и задачи по программированию. Она обучена на более чем 300 тысячах инструкций, преимущественно на синтетических данных; README отмечает склонность к длинным ответам и заявляет низкий уровень галлюцинаций. Используется формат запросов Alpaca. Веса представлены в fp16 для GPU-инференса и дальнейшей конвертации. Лицензия указана как other, поэтому конкретные условия использования следует проверять в файлах репозитория. Модель создана в 2023 году; заявленные свойства и результаты бенчмарков приведены авторами карточки и не являются независимой оценкой.

QuantFactory/Nous-Hermes-2-SOLAR-10.7B-GGUF — квантизированная версия Nous-Hermes-2-SOLAR-10.7B, созданная с помощью llama.cpp. Базовую модель разработала Nous Research на основе SOLAR 10.7B; обучение проводилось на 1 000 000 примеров, преимущественно сгенерированных GPT-4, а также на качественных данных из открытых наборов, включая teknium/OpenHermes-2.5. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций, включая задачи программирования и рассуждений. Она работает в формате instruct/chat и использует шаблон ChatML. Указан английский язык, поддерживаются текстовые входы и выходы; размер модели — 10,7 млрд параметров. Квантизация снижает требования к ресурсам по сравнению с исходной моделью, но конкретный формат квантизации, размер контекста и аппаратные требования в README не указаны. По заявлению авторов, модель заметно превосходит базовую SOLAR 10.7B на бенчмарках GPT4All, AGIEval, BigBench и TruthfulQA; для GPT4All указан средний результат 74,69%, для AGIEval — 47,79%. Ограничения включают ориентацию на английский язык, возможные ошибки и галлюцинации, а также отсутствие подробной информации о варианте квантизации и эксплуатационных требованиях. Модель распространяется по лицензии Apache-2.0.

Карточка модели lactroiii/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 на Hugging Face совпадает с карточкой LimitlessMindd/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для чата, рассуждений и генерации текста. Это эталонные веса BF16 модели с гибридной архитектурой Mixture-of-Experts: слои Mamba-2 чередуются со слоями MoE и отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно задействуются 3 млрд; также используются слои Multi-Token Prediction. Модель предназначена прежде всего для дообучения, адаптации к предметным областям и задачам, оценки и создания производных квантованных вариантов. Её можно применять как основу для чат-ботов, систем RAG и агентных приложений; карточка рекомендует для прямого развёртывания оптимизированный релиз NVFP4. В карточке заявлен контекст до 1 млн токенов, при этом на одной H100 80 ГБ BF16 проверен до 256 тыс. токенов из-за ограничений памяти. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский, японский и китайский. В метаданных указано 1,9 млрд параметров, что расходится с README, где заявлены 30 млрд всего и 3 млрд активных. Метаданные указывают лицензию other, а README сообщает о готовности к коммерческому использованию; конкретные условия лицензии следует сверять с файлами репозитория.

Это 6-битная версия NVIDIA Nemotron Nano 9B v2, подготовленная сообществом mlx-community для запуска в формате MLX на совместимом оборудовании Apple. Репозиторий преобразован из nvidia/NVIDIA-Nemotron-Nano-9B-v2 с помощью mlx-lm 0.27.1; метаданные связывают исходную модель с дообучением и указывают поддержку чата. Модель предназначена для генерации текста и диалогового взаимодействия. Базовая модель описана как гибридная языковая модель NVIDIA для чата, следования инструкциям, программирования и управляемого рассуждения. В карточке модели перечислены английский, испанский, французский, немецкий, итальянский и японский языки. Репозиторий указывает лицензию other; условия следует сверить с лицензией исходной модели и файлами репозитория перед использованием.

NVIDIA-Nemotron-Nano-9B-v2-Base — базовая большая языковая модель NVIDIA для продолжения заданного текста. Она обучена с нуля на корпусе примерно из 20 триллионов токенов, а затем подвергнута прореживанию и дистилляции из NVIDIA-Nemotron-Nano-12B-v2-Base на примерно 480 миллиардах токенов. Архитектура Nemotron-Hybrid сочетает преимущественно слои Mamba-2 и MLP с четырьмя слоями внимания; размер модели — 8,89 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и рассчитана на разработчиков и исследователей, создающих языковые модели и приложения на их основе. Она обучалась на английском и 15 других естественных языках, а также на данных для 43 языков программирования; в корпус входят веб-страницы, диалоги, статьи и материалы по математике, науке, финансам и праву. NVIDIA указывает готовность к коммерческому использованию; лицензия в карточке обозначена как other, поэтому перед использованием следует проверить её условия. Модель оптимизирована для ускорения на GPU NVIDIA, а для конкретного сценария требуется отдельная проверка качества и безопасности.

OpenHermes-2.5-Nebula-v2-7B — объединённая модель для генерации текста и диалогов, созданная на основе teknium/OpenHermes-2.5-Mistral-7B и PulsarAI/Nebula-v2-7B-Lora. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; карточка указывает поддержку общения и обучающий датасет Open-Platypus. Модель подходит для диалоговых ответов, генерации текстов и помощи с кодом на английском языке. Репозиторий содержит веса Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Опубликованные в README результаты таблицы оценки не заполнены.

Ornith-1.5-35B-A3B-Abliterated-ROCmFP4-GGUF — это квантизированная GGUF-версия аблитерированной языковой модели Ornith-1.5-35B-A3B. Базовую модель разработала ornith-ai, аблитерацию выполнила huihui-ai, а BF16 GGUF-исходник предоставила PocketAiHub. Автор данного репозитория добавил варианты квантизации ROCmFP4/ROCmFPX, сборку с поддержкой HIP/ROCm и Vulkan, а также тесты производительности. Модель распространяется по лицензии Apache-2.0. Модель предназначена для генерации текста, включая диалоги, программный код, рассуждения, выдачу JSON, агентские сценарии и работу с инструментами. Это MoE-модель с заявленным общим размером 35B параметров и активной частью около 3B параметров. Доступны варианты квантизации от 4 до 8 бит; размеры файлов составляют примерно от 17,4 до 33,9 ГиБ. В репозитории также указан отдельный vision tower в формате F16 GGUF, позволяющий подавать изображения через параметр mmproj. Языки модели в README не указаны. В приведённых конфигурациях использовался контекст 32768 токенов, однако максимальный размер контекста явно не заявлен. Основное преимущество модели — оптимизация для AMD Ryzen AI Max+ 395 и Radeon 8060S с архитектурой gfx1151: один файл можно запускать через HIP/ROCm или Vulkan, выбирая backend во время запуска. Vulkan показывает более высокую скорость генерации, а ROCm — более высокую скорость обработки длинных входных запросов; 4-битные варианты демонстрируют близкую производительность. Модель прошла заявленные тесты стабильности без усечённых генераций. Для работы требуется специальная сборка ROCmFPX с поддержкой обоих backend; стандартная сборка llama.cpp эти файлы не загружает. Приведённые показатели относятся к конкретной аппаратной конфигурации и могут отличаться на других системах.

Pandalyst-7B-V1.1 — языковая модель для анализа данных с помощью библиотеки pandas, разработанная авторами проекта Pandalyst. Она дообучена на CodeLlama-7b-Python и предназначена для генерации кода и ответов, помогающих работать с таблицами разной структуры и выполнять задачи анализа данных. Версия V1.1 не поддерживает построение графиков. Модель основана на плотной архитектуре LlamaForCausalLM и содержит 6,6 млрд параметров. Она принимает текст и выдаёт текст; заявленная длина контекста — 16 384 токена. В карточке указан английский язык. Авторы сообщают результат 76,1 exec@1 на PandaTest_V1.0, однако это заявление из README, а независимая проверка здесь не представлена. Модель распространяется с лицензией Llama 2.

bartowski/Phi-3.1-mini-4k-instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Phi-3.1-mini-4k-instruct, основанной на модели Microsoft Phi-3-mini-4k-instruct. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев, ответов на вопросы и задач, связанных с обработкой естественного языка и программного кода. Модель работает в текстовой модальности и ориентирована на английский язык. Из идентификатора и описания следует контекстное окно 4K токенов, однако точные сведения об архитектуре и количестве параметров в README не приведены. Доступны варианты от F32 до низкоразрядных Q2 и IQ-квантизаций с размером файлов примерно от 1,3 до 15,3 ГБ. Старшие варианты сохраняют более высокое качество, а младшие требуют меньше оперативной памяти, но заметно уступают в качестве и могут быть непредсказуемее. Модель подходит для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. README рекомендует варианты Q4–Q6 как компромисс между качеством и требованиями к ресурсам; конкретный выбор зависит от доступной памяти и допустимой потери качества. Это текстовая модель без заявленной поддержки изображений или других модальностей, а ограниченное окно контекста не рассчитано на обработку очень длинных документов. Указана лицензия MIT.

Richard Young из DeepNeuro подготовил эту версию Microsoft Phi-3.5-mini-instruct с помощью Heretic v1.4.0: модель подвергнута абляции, направленной на снижение числа отказов. Это плотная авторегрессионная языковая модель Phi-3 с 3,7 млрд параметров, предназначенная для генерации текста, диалогов и задач с кодом. Метаданные указывают контекст 4096 токенов; модель распространяется в формате Safetensors по лицензии MIT. Модель подходит для чат-ботов, генерации текста и кода, а также для сценариев с ограничениями по памяти, вычислениям или задержке. README приводит результат оценки отказов: 12 отказов из 100 запросов против 95 у исходной модели; это указывает на заметно ослабленное поведение отказа, но не гарантирует точность или безопасность ответов. В README также приведено описание возможностей и оценок исходной Phi-3.5, поэтому их нельзя автоматически считать характеристиками этой производной версии. Проверяйте модель для конкретного применения, особенно в чувствительных сценариях.

ehristoforu/phi-4-25b — языковая модель для генерации текста и диалогов, созданная объединением через mergekit слоёв microsoft/phi-4 методом passthrough. Модель имеет плотную архитектуру семейства Phi-3 с классом Phi3ForCausalLM и содержит 24,4 млрд параметров; для запуска используется библиотека Transformers, веса представлены в формате safetensors. Заявленная длина контекста — 16 384 токена. Модель подходит для диалоговых сценариев и генерации текста. Базовая Phi-4 от Microsoft Research рассчитана на английский язык, рассуждения, математику и программирование; отдельные возможности этой сборки помимо генерации текста в карточке не описаны. Сборка не добавляет отдельной предметной специализации. Лицензия в предоставленных данных не указана.

Richard Young создал эту версию Microsoft Phi-4-mini-instruct с помощью Heretic 2.0.0.dev0: модель подвергнута аблерации, которая уменьшает склонность отказывать в ответах. Это плотная авторегрессионная языковая модель семейства Phi-3 с 3,8 млрд параметров и контекстом 4096 токенов; она распространяется в формате Safetensors и предназначена для генерации текста, диалогов, кода и рассуждений, в том числе в условиях ограниченных вычислительных ресурсов. Модель поддерживает множество языков, включая русский, английский, китайский, японский, арабский, украинский и другие. По данным карточки, в тесте на 100 запросах число отказов снизилось с 99 у исходной модели до 5 у этой версии; автор также сообщает о низком расхождении с исходной моделью по KL-дивергенции. Модель подходит для локального использования, творческого письма и изучения методов выравнивания, однако уменьшение отказов означает, что она может выдавать ответы на запросы, которые исходная модель отклоняет. Как и другие языковые модели, она может ошибаться; для высокорисковых сценариев автор рекомендует отдельную оценку точности, безопасности и справедливости. Лицензия — MIT.

bunnycore/Phi-4-Model-Stock — объединённая языковая модель на основе unsloth/phi-4, созданная методом Model Stock с помощью mergekit. В объединение вошли Phi-4-Avg, Phi-4-Empathetic, Phi-4-Math-IO и Phi-4-QwQ; размер модели — 14,1 млрд параметров, максимальная длина контекста — 16 384 токена. Модель предназначена для генерации текста и диалогов, включая задачи рассуждения и математики. Модель использует архитектуру LlamaForCausalLM и распространяется в формате safetensors. Карточка приводит результаты оценок на IFEval и BBH, но не описывает языковое покрытие или гарантии качества для отдельных задач. Лицензия — MIT.

Prem-1B-SQL — модель генерации текста для преобразования запросов на естественном языке в SQL, разработанная Prem AI. Она предназначена для локального анализа данных: модель получает вопрос пользователя и сведения о базе данных, после чего генерирует SQL-запрос. Для работы с базами и подготовки промптов разработчики предлагают библиотеку PremSQL, включая генераторы и режим выполнения запроса с исправлением по сообщениям об ошибках. Модель основана на плотной архитектуре LlamaForCausalLM и содержит 1,3 млрд параметров. Контекст — до 16 384 токенов; формат весов в репозитории — safetensors. В README приведены результаты на Spider и BirdBench, включая заметно более низкую точность на сложных примерах BirdBench. Компактный размер подходит для запуска на маломощном GPU, а при квантизации — и на CPU. Карточка указывает лицензию MIT, тогда как метаданные Hugging Face указывают Apache-2.0; лицензионные сведения расходятся, поэтому перед использованием следует проверить лицензию репозитория и файлов. Модель специализирована на Text-to-SQL, а не на произвольных диалоговых задачах; качество снижается на сложных запросах, и результаты генерации нужно проверять на целевой базе данных.

ProCreations_grug-35b-GGUF — квантизированная версия языковой модели ProCreations/grug-35b, подготовленная bartowski с использованием llama.cpp и метода imatrix. Модель ориентирована на задачи генерации текста, программирования, агентских сценариев, использования инструментов и рассуждений. В метаданных также указан pipeline_tag image-text-to-text, однако подробности о поддерживаемых визуальных входах в README не приведены. Модель содержит около 35 млрд параметров и распространяется в формате GGUF с вариантами квантизации от BF16 и Q8_0 до более компактных Q2–Q4 и IQ-форматов. Доступны сборки размером примерно от 19 до 69 ГБ; более высокие разрядности обеспечивают лучшее качество, а компактные варианты снижают требования к оперативной памяти. README не указывает контекстное окно, языки, точную архитектуру или результаты тестирования. Сборки предназначены для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Сильными сторонами являются широкий выбор уровней квантизации и поддержка сценариев кода, агентного взаимодействия и tool use. Ограничения — отсутствие подробных сведений о мультимодальности, языках и производительности, а также значительные требования к памяти для качественных вариантов. Модель распространяется по лицензии MIT.

Qevacot-7B — объединённая языковая модель семейства Qwen2.5, созданная автором репозитория bunnycore с помощью mergekit и метода TIES. В основу слияния взята Qwen/Qwen2.5-7B; также объединены EVA-Qwen2.5-7B-v0.1, T.E-8.1, Qwen2.5-7B-Instruct, Qwen2.5-7B-Instruct-abliterated-v2, Qwen2.5-7B-HyperMix и CoT-2.5. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 131 072 токенов. Она предназначена для генерации текста и диалогов; метаданные также указывают интерфейс для вызова инструментов. Доступна в формате safetensors для Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о специальной предметной области или поддерживаемых языках, поэтому область применения следует считать общей, а языковые возможности — неуточнёнными.

unsloth/Qwen2.5-14B — 14-миллиардная плотная авторегрессионная языковая модель семейства Qwen2.5, опубликованная Unsloth как дообученная версия Qwen/Qwen2.5-14B. Она предназначена для генерации и продолжения текста; базовая модель особенно подходит для дальнейшего постобучения, а карточка не рекомендует использовать базовые языковые модели непосредственно для диалогов. Архитектура использует RoPE, SwiGLU, RMSNorm и grouped-query attention; контекст составляет до 131 072 токенов. Модель поддерживает многоязычную генерацию, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Семейство Qwen2.5 заявлено как улучшенное в программировании, математике, следовании инструкциям, работе с длинными текстами и структурированными данными, однако эти характеристики в README описаны для семейства в целом и не подтверждены отдельной оценкой данного чекпойнта. Репозиторий использует Transformers и формат safetensors; лицензия — Apache-2.0.

Qwen2.5-14B-Instruct-1M — плотная авторегрессионная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста, включая обработку очень длинных документов и контекстов. Модель содержит около 14 млрд параметров; архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и групповое внимание с 40 головами Q и 8 головами KV. Заявленная длина контекста достигает 1 010 000 токенов, а генерация — до 8192 токенов. Для эффективного инференса на длинных последовательностях разработчик рекомендует специальную ветку vLLM с разреженным вниманием и методами экстраполяции длины; для обработки миллиона токенов версии 14B требуется не менее 320 ГБ видеопамяти суммарно. На обычном стеке Qwen2.5 возможна потеря точности при длине свыше 262 144 токенов. Модель основана на Qwen/Qwen2.5-14B и дообучена; лицензия Apache-2.0. Метаданные указывают английский язык, поэтому поддержка других языков здесь не заявляется.

PollardWeights/Qwen2.5-14B-Instruct-Pollard — это квантизированная версия Qwen2.5-14B-Instruct, разработанная PollardWeights на основе модели Qwen от Qwen. Модель предназначена для генерации текста и диалоговых сценариев, включая объяснения, программирование, рассуждения и творческое продолжение текста. Поддерживает только текстовый ввод; заявленный язык — английский. Архитектура — qwen2, размер — около 14,8 млрд параметров, формат распространения — GGUF. Модель использует смешанную квантизацию PollardMix с распределением разрядности по чувствительности отдельных слоёв, а не равномерное сжатие. Доступны варианты от Q6_K размером около 12,12 ГБ до IQ1_KT размером 3,92 ГБ. Крупные варианты обеспечивают более высокое качество, а IQ4_XS позиционируется как оптимальный баланс размера и качества. IQ1_KT позволяет запускать модель при ограниченных ресурсах, но требует ik_llama.cpp и работает медленнее, чем некоторые более крупные варианты. Сильной стороной является существенное уменьшение размера по сравнению с F16-версией: примерно с 29,60 до 3,92 ГБ. По измерениям на WikiText-2 вариант Q6_K близок к F16 по perplexity, а PollardMix превосходит равномерную 1-битную квантизацию по указанным метрикам и сохраняет связность в чат-сценариях. Ограничения включают потери качества при агрессивной квантизации, зависимость IQ1_KT от ik_llama.cpp, отсутствие данных о других языках и неполные сведения о длине контекста. Лицензия — Apache-2.0.