II.3Рефакторинг, миграция и модернизация

Parm-2-CoT-14B-16k-o1-QwQ — языковая модель Pinkstack, дообученная на базе Microsoft Phi-4 для рассуждений и генерации текста. Она ориентирована на диалоги, решение математических задач, ответы на вопросы, требующие многошагового анализа, и программирование. В карточке указано, что модель обучалась на датасете amphora/QwQ-LongCoT-130K; архитектура репозитория обозначена как LlamaForCausalLM, веса доступны в формате safetensors. Размер модели — 14,1 млрд параметров, контекст — 16 384 токена. Модель поддерживает текстовый ввод и выдаёт текст. Автор отмечает высокие результаты на отдельных тестах рассуждений, математики и знаний, но приводит низкий результат IFEval и связывает его с постоянным пошаговым рассуждением. Для устойчивых результатов рекомендуется низкая температура; иногда модель может завершить рассуждение без итогового ответа. Лицензия — MIT.

ProCreations_grug-27b-v1.1-GGUF — это квантизированная версия модели grug-27b-v1.1, разработанной ProCreations и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит 27 миллиардов параметров и предназначена для задач рассуждения, агентских сценариев, использования инструментов и эффективной генерации текста. Модель поддерживает английский язык и текстовый ввод, а также обработку изображений при использовании дополнительного файла mmproj. Она выпускается в нескольких вариантах квантизации от BF16 до низкобитных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Рекомендуемым универсальным вариантом указан Q4_K_M размером 17,53 ГБ, а версии Q5 и Q6 обеспечивают более высокое качество при больших требованиях к ресурсам. К сильным сторонам относятся крупный размер, поддержка мультимодального ввода, режимы, ориентированные на рассуждение и tool use, а также наличие imatrix-квантизаций для более эффективного хранения. Архитектура, размер контекстного окна и подробные показатели качества в README не указаны; perplexity и KLD не измерялись. Спекулятивное декодирование не поддерживается. Модель распространяется по лицензии Apache-2.0.

Edens-Gate/Qwen1.5B-Instruct-Upscale-3.5B — текстовая диалоговая модель семейства Qwen2, созданная с помощью mergekit методом passthrough на основе Qwen/Qwen2-1.5B-Instruct. Репозиторий содержит плотную архитектуру Qwen2ForCausalLM на 3,2 млрд параметров; модель работает через Transformers и принимает текстовые запросы, выдавая текст. Модель предназначена для диалогов и генерации текста по инструкциям. Подходит для ответов на вопросы, составления текстов и помощи с программированием или математическими задачами. Контекстное окно составляет 32 768 токенов. В метаданных указана лицензия Apache-2.0?

mradermacher/Qwen3.5-9B-Brainwaves-GGUF — это набор квантованных GGUF-версий модели nightmedia/Qwen3.5-9B-Brainwaves, подготовленный пользователем mradermacher. Модель относится к семейству Qwen и предназначена для запуска через совместимые инструменты, поддерживающие формат GGUF. В описании заявлены диалоговые сценарии, генерация текста, программирование, математические и STEM-задачи, исследовательская работа, рассуждения, творческое и художественное письмо, а также ролевые сценарии. Размер базовой модели составляет около 9 млрд параметров. Указаны поддерживаемые языки English, Chinese, Japanese и Spanish. Доступны дополнительные файлы mmproj для мультимодального использования, однако конкретные поддерживаемые типы входных данных и возможности мультимодальной обработки в README не раскрыты. Также в тегах заявлен контекст до 256k или 1M токенов, но точное значение для данной сборки не уточняется. Главное преимущество репозитория — широкий выбор вариантов квантования с размером примерно от 4 до 18,5 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Для быстрого запуска рекомендованы Q4_K_S и Q4_K_M, а Q8_0 описан как вариант с лучшим качеством среди быстрых. Ограничения включают возможное снижение качества у низкобитных квантований и отсутствие в README результатов бенчмарков, детального описания архитектуры и подтверждённых характеристик мультимодальности. Лицензия модели — Apache 2.0.

SECWIKI/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive — мультимодальная версия Qwen3.6-27B, разработанная HauhauCS на основе модели Qwen/Qwen3.6-27B. Это модификация без встроенных отказов, предназначенная для генерации ответов на широкий круг запросов, включая сценарии, где требуется минимальное количество ограничений. Модель поддерживает текст, изображения и видео, а заявленные языки включают английский, китайский и другие языки в мультиязычном режиме. Модель содержит 27 млрд плотных параметров и распространяется в формате GGUF с различными уровнями квантования, включая специальные варианты K_P, оптимизированные с использованием importance matrix. Архитектура включает 64 слоя, сочетает 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного gated attention. Нативная длина контекста составляет 262 тысячи токенов и может быть расширена примерно до 1 млн с помощью YaRN. Для мультимодальной работы поставляется отдельный компонент mmproj. Сильной стороной модели является сочетание большого контекста, мультимодальности, нескольких режимов генерации и отсутствия отказов, а K_P-квантизации позволяют сохранить качество при уменьшенном размере файлов. Ограничения включают возможное добавление кратких дисклеймеров, повышенные требования к памяти: размер файлов варьируется примерно от 10 до 32 ГБ, а также риски, связанные с отсутствием защитных ограничений. В README указана лицензия Apache-2.0.

taurusduan/Qwen3.8-27B-GSQ-RCO-GGUF — это набор GGUF-квантизаций базовой модели Qwen3.8-27B, разработанный Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель предназначена для локального запуска языковой модели, включая мультимодальные сценарии с обработкой изображений через поставляемый vision projector. Файлы совместимы с llama.cpp, Ollama и LM Studio. В набор входят четыре неравномерные квантизации с эффективной разрядностью от 2,50 до 3,50 бит на вес и размером от 8,4 до 11,8 ГБ. GSQ выполняет посттренировочную скалярную квантизацию, а RCO распределяет типы квантизации по отдельным тензорам с учётом их чувствительности и общего ограничения на размер. Для мультимодального режима используется отдельный проектор mmproj с vision encoder и projector в формате BF16 размером около 0,9 ГБ. Также доступны варианты с Multi-Token Prediction head для speculative decoding в llama.cpp; они примерно на 0,35 ГБ больше. Рекомендуемым вариантом назван IQ3_S: по данным README, он сохраняет качество базовой модели на AIME25 и LiveCodeBench v6 и находится в пределах 0,51 балла от неё на GPQA-Diamond, занимая чуть больше одной пятой размера BF16-модели. Более компактные варианты подходят для экономии памяти, но могут иметь больший компромисс по качеству. Модель и методы квантизации распространяются по лицензии Apache 2.0. Языки и максимальная длина контекста в README не указаны.

Joestar79/Qwen3.8-27B-OBLITERATED-NVFP4 — производный мультимодальный чекпойнт на базе Qwen/Qwen3.8-27B, прошедший V3 abliteration авторами OBLITERATUS и квантование NVIDIA ModelOpt 0.45.0. Модель предназначена для текстовой генерации, работы с изображениями, рассуждений и вызова инструментов через vLLM. Поведение отказов удалено, поэтому модель выполняет запросы, которые исходная версия могла отклонять; ответственность за законность использования и настройку защитных ограничений лежит на операторе. Модель использует квантование NVFP4 W4A16: размер на диске составляет около 21,5 ГБ вместо 55,6 ГБ у исходной BF16-версии. Весовая часть упакована в FP4, а vision tower, MTP head, lm_head, embeddings и отдельные внутренние компоненты линейного внимания сохранены в BF16. MTP head подключён для speculative decoding, поддерживается контекст до 126 976 токенов, а шаблон чата включает диалект вызова инструментов qwen3_coder. В README не указаны полный список языков и точное число параметров сверх обозначения 27B. Чекпойнт рассчитан прежде всего на запуск на одной NVIDIA RTX 5090 с 32 ГБ памяти и совместим с другими картами Blackwell и FP4-совместимыми серверными GPU. На RTX 5090 заявлена пропускная способность около 40 токенов в секунду для одного потока и до 317 токенов в секунду суммарно для восьми потоков. Ограничения включают известную проблему с зацикливанием генерации при некоторых условиях, возможное снижение эффективности speculative decoding из-за несовпадения MTP head с abliteration-весами и отсутствие калибровки квантования под конкретные задачи. Модель не рекомендуется для публичного неаутентифицированного развёртывания; перед критически важным применением её следует сравнить с BF16-версией. Лицензия — Apache-2.0. Производная модель наследует знания, предубеждения и потенциальные ошибки базовой модели, а удаление отказов повышает риск небезопасных или нежелательных ответов.

StrangeMerges_51-7B-dare_ties — текстовая генеративная модель, созданная Gille объединением пяти моделей с помощью LazyMergekit: WizardMath-7B-V1.1, NeuralCoder-7b, Einstein-v4-7B, Matter-0.1-Slim-7B-C-DPO и StrangeMerges_42-7B-dare_ties. Это плотная модель семейства Mistral с 7,1 млрд параметров; доступна в формате safetensors и имеет контекст до 32 768 токенов. Модель предназначена для генерации текста и может быть полезна для диалогов и инструкций, математических рассуждений и задач по программированию — эти направления представлены среди объединённых моделей. В README приведены результаты Open LLM Leaderboard, включая средний балл 71,73, однако без полной таблицы и описания методики эти показатели не позволяют оценить качество на конкретных пользовательских задачах. Модель распространяется по лицензии Apache-2.0. В карточке нет сведений о целевых языках и специальных мерах безопасности; фактическое качество объединения на конкретных задачах следует проверять отдельно.

Это 65-миллиардная языковая модель семейства LLaMA, опубликованная ycros. Она получена дообучением модели airoboros-65b-gpt4-1.4.1 с помощью QLoRA и масштабирования RoPE; веса представлены в формате PyTorch fp16. Обучающие данные airoboros-gpt4-1.4.1 синтетически созданы GPT-4. Модель предназначена для генерации ответов в диалогах, следования инструкциям, ответов на вопросы по предоставленному контексту, написания кода и творческих задач. В обучении уделено внимание многоходовым разговорам, ролевым диалогам, загадкам, шуткам и вариантам запросов на код с выводом в формате PLAINFORMAT. README приводит рекомендованный формат диалога и отмечает, что исходная версия ещё не была протестирована. Указанный нативный контекст составляет 2048 токенов. Карточка описывает вариант с RoPE scaling на 8192 токена, однако не приводит подтверждения его проверки. Модель основана на LLaMA-65B; отдельные квантизованные варианты упомянуты в README, но данный репозиторий содержит PyTorch fp16. Условия лицензии в предоставленных данных не указаны.

ANITA-NEXT-24B-Dolphin-Mistral-UNCENSORED-ITA — разговорная языковая модель семейства ANITA-NEXT, разработанная исследователем Марко Полиньяно из Университета Бари Альдо Моро и исследовательской группой SWAP. Это плотная авторегрессионная модель архитектуры Mistral на 23,4 млрд параметров, дообученная на базе dphn/Dolphin-Mistral-24B-Venice-Edition с помощью SFT, QLoRA и DPO. Она предназначена для диалога, следования инструкциям и генерации текста и кода; README характеризует её как модель с рассуждением и без фильтрации ответов. Модель принимает текст и генерирует текст, включая код. Она рассчитана прежде всего на итальянский язык, также заявлена поддержка английского и многоязычных сценариев. Метаданные указывают контекст 40 960 токенов; README отмечает деградацию качества после примерно 40 тысяч токенов, несмотря на заявленные там 128 тысяч. Указанная лицензия — Apache-2.0. Авторы предупреждают о галлюцинациях и возможности оскорбительных, неэтичных или опасных ответов; модель представлена для исследовательского применения.

Это GGUF-квантизированная версия языковой модели DeepSeek-V3.1, разработанной deepseek-ai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и совместимые проекты на его основе. В репозитории представлены варианты квантования Q8_0, Q6_K, Q5_K_M, Q4 и Q3/Q2, включая форматы IQ. Размер файлов составляет примерно от 188 до 713 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют значительно больше оперативной памяти и ресурсов; варианты Q4 и Q5 позиционируются как сбалансированные, а Q2 и Q3 — как более экономичные, но с заметным снижением качества. Квантизация выполнена с использованием imatrix и llama.cpp release b6214. Сильной стороной модели является возможность локального запуска в различных форматах GGUF и выбор между качеством и требованиями к памяти. Ограничения включают исключительно большие размеры файлов, высокие аппаратные требования и отсутствие в README сведений о поддерживаемых языках, длине контекста, точной архитектуре, рекомендованном шаблоне запросов и лицензии. Формат промпта также не указан; рекомендуется обратиться к странице исходной модели deepseek-ai/DeepSeek-V3.1.

DeepSeek-R1-Distill-Qwen-7B-abliterated — дообученная языковая модель на архитектуре Qwen2, созданная Orion-zhen с помощью abliteraton. Она предназначена для диалогов и генерации текста; унаследованная базовая модель DeepSeek-R1-Distill-Qwen-7B ориентирована на многошаговые рассуждения, в том числе по математике и программированию. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. В репозитории представлены веса safetensors, а метаданные отмечают интерфейс для вызова инструментов. Модель поддерживает английский и китайский языки. README не сообщает результатов оценки качества или подробностей обучения; название указывает на применение abliteration, но не описывает его эффект. Лицензия — GPL-3.0.

DiscoLM 70b — языковая модель команды DiscoResearch, обученная Бьёрном Плюстером на базе LeoLM 70B. Это плотная авторегрессионная модель семейства Llama 2 с 68,7 млрд параметров и контекстом до 8192 токенов. После дополнительного предобучения на 65 млрд токенов немецкого текста модель дообучили на наборах инструкций и диалогов, включая SlimOrca, OpenHermes, MetaMathQA и UltraChat DE. Модель предназначена для генерации текста и ответов на инструкции и подходит для диалогов, письма, рассуждений, решения математических задач и написания кода. Усилена поддержка немецкого языка при сохранении возможностей английского; карточка также приводит результаты тестов по нескольким задачам. Разработчики называют модель ранней альфа-версией и предупреждают о возможном загрязнении тестовых данных. Для использования заявлена лицензия Llama 2 с её ограничениями и ограничениями обучающих наборов; авторы указывают исследовательское назначение.

GLM-4.5-Air-bf16 — версия GLM-4.5-Air, подготовленная сообществом mlx-community для запуска в MLX на устройствах Apple с поддержкой MLX. Репозиторий преобразован из zai-org/GLM-4.5-Air с помощью mlx-lm 0.28.2; по метаданным, модель относится к семейству GLM-4 MoE и содержит 8,5 млрд параметров. Лицензия — MIT. Модель предназначена для генерации текста в диалоговом режиме. Базовая GLM-4.5-Air рассчитана на рассуждения, программирование и работу интеллектуальных агентов с инструментами; в этой карточке подтверждены диалоговая возможность и задача text-generation. Контекстное окно — 131 072 токена. Поддерживаемые языки по карточке — английский и китайский. Преобразованная версия упрощает запуск модели в экосистеме MLX. Доступные сведения не подтверждают отдельную оценку качества именно этой сборки или её поддержку вызова инструментов; назначение инструментов указано для базовой модели.

GPT-OSS-Swallow-20B-RL-v0.1 — двуязычная языковая модель Токийского научного института (Tokyo Tech), созданная на основе GPT-OSS-20B с продолжением предобучения, дообучением на инструкциях и обучением с подкреплением по проверяемым наградам. Модель предназначена для диалога на японском и английском языках, а также для решения задач по математике, программированию и естественным наукам. Архитектура — GPT-OSS MoE; в метаданных указано 1,6 млрд параметров и контекстное окно до 131 072 токенов. Разработчики сообщают об улучшенной работе с японским языком и переводом между японским и английским, при сохранении или усилении возможностей в математике и программировании. Для воспроизводимого запуска рекомендуют vLLM и уровень reasoning effort medium. Хотя заявленное окно контекста составляет 131 072 токена, модель не обучали и не проверяли на задачах длиннее 32 тысяч токенов; для практического использования авторы рекомендуют контекст не более 32 768 токенов. Модель специально не обучалась вызову инструментов и не гарантирует стабильное управление режимом рассуждений или самоидентификацию. Карточка отмечает раннюю стадию разработки и отсутствие специальной настройки на безопасность и соответствие намерениям пользователя. Лицензия — Apache-2.0.

Grug 67B A2B Datakit SFT 262K — контрольная точка Grug MoE после дообучения с учителем на подборке данных для агентных сценариев и рассуждений. Модель подготовлена open-athena на основе неопубликованной базовой контрольной точки; использованы данные OpenThoughts code, SWE-ZERO, Penfever, NuminaMath и наборы GLM для следования формату и уплотнения контекста. Это отдельный запуск SFT от выпуска 11 сентября 2026 года. Архитектура GrugMoeForCausalLM содержит 67 млрд параметров, из которых примерно 2 млрд активны на токен; используются 256 маршрутизируемых экспертов с выбором четырёх экспертов и один общий эксперт. Модель принимает текст и поддерживает генерацию в формате чата, интерфейс вызова инструментов и режим рассуждений. Контекст настроен на 262 144 токена, однако качество на длинном контексте не проверено. Для запуска требуется среда с поддержкой Grug MoE; совместимость со стандартным Transformers и заявленным рантаймом пока не подтверждена. Контрольная точка не прошла надлежащее тестирование или оценку: для неё нет установленных результатов генерационных проверок и бенчмарков, поэтому качество, безопасность и численная эквивалентность не подтверждены. Опубликована под лицензией OpenMDW-1.1.

Instruct-12B — языковая модель, созданная hakurei дообучением EleutherAI Pythia 12B deduped на наборе Open-Instruct v1. Она предназначена для следования инструкциям пользователя и задумана как открытая альтернатива моделям серии InstructGPT; автор отмечает, что формат запросов похож на GPT-3.5. Модель построена на архитектуре GPT-NeoX, содержит 15,4 млрд параметров и рассчитана на контекст до 2048 токенов. Модель принимает текст и генерирует текст. Карточка указывает на поддержку английского языка и возможностей следования инструкциям и генерации кода. Для запросов рекомендуется разделять инструкцию, ввод пользователя и ответ двойными переводами строки. Модель распространяется под лицензией Apache-2.0.

Josiefied-Qwen2.5-7B-Instruct-abliterated-v2 — диалоговая языковая модель, разработанная Гёкденизом Гюльмезом. Это дообученная и аблитерированная версия Qwen2.5-7B-Instruct, созданная на пользовательском наборе данных для более свободных ответов и меньшего числа отказов. Модель построена на архитектуре Qwen2 с плотной причинной языковой моделью и содержит около 7,1 млрд параметров; заявленный нативный контекст — 32 768 токенов. Модель предназначена для генерации текста в формате чата: она отвечает на запросы, помогает с письмом, программированием и математическими задачами, а также поддерживает многоязычные диалоги. В метаданных отмечены интерфейс вызова инструментов и поддержка английского, русского, китайского, немецкого, французского, испанского, португальского, итальянского, японского, корейского, вьетнамского, тайского и арабского языков. Карточка указывает лицензию Apache 2.0. Аблитерация ориентирована на снижение отказов, что позволяет использовать модель для запросов, которые обычные ассистенты могут отклонять; при этом поведение и безопасность ответов могут быть менее предсказуемыми. Автор рекомендует использовать модель на свой риск. Указанные в README характеристики базовой Qwen2.5, включая контекст до 128K токенов, не следует переносить на эту производную модель: для данного репозитория метаданные указывают нативный контекст 32 768 токенов.

Kai-30B-Instruct-i1-GGUF — набор квантованных GGUF-версий модели Kai-30B-Instruct, разработанной NoesisLab и квантованной mradermacher. Модель ориентирована на генерацию текста, следование инструкциям, математические и логические рассуждения, программирование и другие задачи, связанные с текстом. В метаданных также указана тематика ads и distillation, однако подробности соответствующей специализации не приведены. Базовая модель содержит около 30 миллиардов параметров; архитектура и размер контекста в README не указаны. Поддерживаемый язык — английский. Модель работает с текстом и поставляется в различных вариантах квантования, включая IQ1–IQ4, Q2–Q6 и другие форматы. Доступны версии с разным компромиссом между размером, скоростью и качеством: например, i1-Q4_K_M отмечена как быстрая и рекомендуемая, а i1-Q4_K_S — как оптимальная по соотношению размера, скорости и качества. Наиболее компактные варианты имеют заметно более низкое качество. Основные преимущества — возможность локального запуска в формате GGUF и широкий выбор вариантов квантования под доступные ресурсы. Ограничения включают возможное ухудшение качества при низких уровнях квантования, отсутствие данных о контекстном окне, мультимодальности, результатах оценки и языках помимо английского. Лицензия базовой модели — Apache-2.0; README не уточняет, распространяются ли квантованные файлы на дополнительных условиях.

RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w4a16 — это квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Модель предназначена для генерации текста и диалоговых сценариев в формате ассистента, включая коммерческое и исследовательское применение на английском языке. Она принимает текст на вход и генерирует текст на выходе, поддерживает чатовый режим и может использоваться с backend vLLM, включая OpenAI-совместимую службу. Модель имеет архитектуру LlamaForCausalLM и содержит 8 миллиардов параметров в исходной версии. Веса линейных операторов трансформерных блоков квантизированы в формат INT4 с симметричным покомпонентным масштабированием для групп по 128 параметров. По сравнению с представлением FP16 это примерно на 75% снижает размер модели на диске и требования к памяти GPU. Квантизация выполнена с использованием AutoGPTQ и калибровочного набора Neural Magic. В README приведены результаты восстановления качества относительно неквантизированной версии: 93,0% для Arena-Hard, 98,9% для OpenLLM v1, 96,1% для OpenLLM v2, 99,7% для HumanEval pass@1 и 97,4% для HumanEval+ pass@1. К сильным сторонам относятся уменьшенные требования к памяти и возможность эффективного развертывания при сохранении большей части качества исходной instruct-модели. Ограничением является заявленная область применения преимущественно на английском языке; использование на других языках указано как выходящее за рамки назначения, несмотря на наличие нескольких языков в метаданных карточки. Лицензия — Llama3.1; также необходимо соблюдать ограничения исходной лицензии Meta и применимые законы и нормы.

Minitron-4B-Base — базовая большая языковая модель NVIDIA для генерации текста. Она создана из Nemotron-4 15B: разработчики сократили размер эмбеддингов, число голов внимания и промежуточный размер MLP, а затем продолжили обучение с дистилляцией на 94 млрд токенов. Модель насчитывает 4,3 млрд параметров; её архитектура — авторегрессионный Transformer-декодер Nemotron с Grouped-Query Attention и Rotary Position Embeddings. Контекст составляет 4096 токенов. Модель принимает текст и генерирует текст. Она предназначена для исследований и разработки, включая генерацию и продолжение текста, ответы на вопросы, математические задачи и генерацию кода. В обучающих данных были английский и мультиязычный текст, а также код; корпус включал материалы из разных областей, в том числе право, математику, науку и финансы. Карточка приводит результаты оценок на MMLU, HellaSwag, Winogrande, GSM8K, ARC-C, XLSum и HumanEval. Модель может выдавать неточные, неполные или избыточные ответы, а также воспроизводить токсичный язык и предубеждения из обучающих данных. Данные предварительного обучения имеют срез по июнь 2023 года. Лицензия указана как other; перед использованием следует ознакомиться с условиями NVIDIA. Модель отмечена разработчиком как предназначенная для исследований и разработки.

mistral-orpo-beta-NeuralBeagle14-7B-dare-ties — объединённая модель на архитектуре Mistral, созданная с помощью LazyMergekit из kaist-ai/mistral-orpo-beta и mlabonne/NeuralBeagle14-7B методом dare_ties. Она предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, следования инструкциям, рассуждений и творческого письма. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Карточка приводит конфигурацию с весами слияния 0,6 и 0,4 и точностью bfloat16. Лицензия — Apache-2.0. Языки и отдельные ограничения качества в карточке не описаны.

CompiwerAI/Mtrini-27B-Tellus-IQ2_XS — квантованная сборка IQ2_XS модели Mtrini-27B-Tellus в формате GGUF для запуска через llama.cpp. В README указана архитектура qwen35: 64 блока трансформера, размер эмбеддингов 5120, 24 головы внимания и 4 KV-головы. Файл весит около 8,47 ГиБ; квантование выполнено из F16 GGUF с использованием матрицы важности, построенной на калибровочных данных. Модель предназначена для диалоговой генерации текста, включая задачи программирования, математики и рассуждений; соответствующие специализации отражены в тегах карточки. Также заявлена поддержка арабского языка и дариджи. Квантование до примерно 2,31 бита на вес уменьшает требования к памяти, но может снижать точность и качество ответов по сравнению с исходной моделью. Лицензия — Apache-2.0.

OsaurusAI подготовила сборку JANG_4M модели Nanbeige4.2-3B для генерации текста и диалога. Это плотный Looped Transformer с 22 слоями, которые дважды проходят по общим весам, что даёт эффективную глубину 44 слоя. Веса квантованы для Apple Silicon: используются 4-битные affine routed-веса и 8-битное внимание; размер файлов составляет 2,9 ГБ. Модель насчитывает около 3,2 млрд параметров по метаданным; README указывает 4,17 млрд параметров исходной архитектуры. Контекст — до 256K токенов, основные языки — английский и китайский. Сборка предназначена для рассуждений, диалогов и агентных сценариев с вызовом инструментов. Для корректной работы требуется загрузчик, поддерживающий циклическое выполнение слоёв и 44 позиции KV-кэша; обычный универсальный загрузчик может выдавать неверные ответы. В README приведены измерения скорости и сравнение точности квантования на Apple Silicon, но они относятся к указанной конфигурации и тестам. Лицензия — Apache-2.0.

Accio-Lab/occamy-1.0-NVFP4 — это версия модели Occamy 1.0 со смешанными NVFP4-квантованными весами, разработанная Accio-Lab. Модель основана на Qwen3.6-35B-A3B и использует архитектуру mixture-of-experts (MoE). Она относится к мультимодальным моделям image-text-to-text и предназначена для работы с текстовыми и визуальными запросами. Квантованию подвергнуты маршрутизируемые эксперты: для их весов и активаций используются NVFP4. Механизмы внимания, маршрутизаторы, общие эксперты, эмбеддинги, выходная голова и vision-компоненты сохранены в формате BF16. Сохранены исходные токенизатор и chat template Occamy; отдельная MTP-голова в этот checkpoint не включена. Модель подходит для генерации текста и кода, структурированных ответов в JSON, tool calling и базового распознавания изображений. Проверки показали сопоставимое с BF16-версией поведение на небольшом наборе тестов для текста, кода, JSON, вызова инструментов и изображений. При этом заявленные проверки не являются общими бенчмарками и не подтверждают качество на широком спектре задач, аудио, видео, длинном контексте или производительность. Набор калибровки был ограниченным, а нативное выполнение NVFP4 требует совместимого оборудования и ядер; совместимость с vLLM проверялась через Marlin W4A16, а не через нативные FP4-вычисления. Валидация проводилась с контекстом 2048 токенов. Модель распространяется по лицензии Apache-2.0.

Occiglot-7B-DE-EN-Instruct — инструктивная языковая модель Occiglot Research Collective для генерации текста и диалогов на английском и немецком языках. Это плотный decoder-only трансформер на архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; модель принимает ChatML-шаблон. Также обучена следовать инструкциям, связанным с кодом. Модель подходит для ответов на вопросы, диалоговых помощников и выполнения текстовых инструкций на английском и немецком. Она прошла полное инструктивное дообучение на 180 млн дополнительных токенов мультиязычных и кодовых инструкций. Авторы предупреждают, что модель не проходила выравнивание по безопасности и может выдавать проблемный контент; результаты оценки для немецкого следует трактовать осторожно из-за использования частично машинно переведённых наборов и английских промптов. Лицензия — Apache 2.0.

Модель kuhess/OpenHermes-2.5-Mistral-7B-alpaca-cleaned — дообученная разработчиком kuhess версия OpenHermes-2.5-Mistral-7B на архитектуре Mistral. Это плотная авторегрессионная языковая модель на 7,1 млрд параметров с контекстом до 32 768 токенов, предназначенная для генерации текста и диалогового общения. При обучении использовались Unsloth и TRL. Модель подходит для ответов на вопросы, написания и продолжения текста, диалоговых помощников и помощи с кодом. В карточке указан английский язык. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. README не приводит подробностей о наборе данных или результатах оценки качества.

ehristoforu/phi-4-25b — языковая модель для генерации текста и диалогов, созданная объединением через mergekit слоёв microsoft/phi-4 методом passthrough. Модель имеет плотную архитектуру семейства Phi-3 с классом Phi3ForCausalLM и содержит 24,4 млрд параметров; для запуска используется библиотека Transformers, веса представлены в формате safetensors. Заявленная длина контекста — 16 384 токена. Модель подходит для диалоговых сценариев и генерации текста. Базовая Phi-4 от Microsoft Research рассчитана на английский язык, рассуждения, математику и программирование; отдельные возможности этой сборки помимо генерации текста в карточке не описаны. Сборка не добавляет отдельной предметной специализации. Лицензия в предоставленных данных не указана.

Qwen3-235B-A22B-abliterated — доработанная методом ablation модель Qwen3 от null-space на базе Qwen/Qwen3-235B-A22B. Из весов удалено доминирующее направление отказа, из-за чего модель значительно реже отклоняет запросы, сохраняя основные возможности исходной модели. Это разреженная MoE-модель для генерации диалогового текста, рассуждений, программирования, перевода и работы с инструментами; поддерживает режимы /think и /no_think. Архитектура — Qwen3MoeForCausalLM, формат весов — BF16, контекст — до 40 960 токенов. Метаданные указывают 18,2 млрд параметров, тогда как README описывает базовую модель как 235-миллиардную MoE-модель. Модель подходит для творческого письма, диалогов и исследований поведения отказов в языковых моделях, включая red-teaming и оценку безопасности. В приведённой оценке MMLU для FP8-варианта результат составил 86,2% против опубликованных 87,8% у базовой модели; это сравнение не является полной независимой оценкой всех возможностей. Удаление отказов означает, что модель может отвечать на запросы, которые исходная модель отклоняла, поэтому её ответы требуют соответствующего контроля. Лицензия — Apache-2.0.

Qwen3.8-27B-NVFP4-RTX5090-LMHead4 — это производный вариант модели Qwen3.8-27B-NVFP4-RTX5090 от gittensor-model-hub, созданный с использованием инструментов NVIDIA ModelOpt. Модель предназначена для генерации текста, рассуждений, решения математических и академических задач, программирования, диалоговых сценариев и агентских приложений с вызовом инструментов. Вариант сохраняет исходные веса родительской модели, за исключением lm_head, который дополнительно квантизован в NVFP4 вместо BF16. Модель имеет размер 27B параметров и поддерживает контекст до 65 536 токенов. Указаны интеграции с Transformers, SGLang и vLLM, а также поддержка спекулятивного декодирования с черновой моделью DSpark. На одной RTX 5090 размер чекпойнта составляет 18,77 ГБ, а занимаемый весами объём VRAM — около 17,10 ГБ. По данным README, скорость декодирования достигает 88,45 токена/с без спекуляции и 181,7 токена/с при использовании DSpark. Квантизация lm_head не показала измеримого ухудшения качества на указанном небольшом наборе тестов, однако результаты нельзя считать доказательством улучшения и они зависят от конфигурации запуска. Ограничения модели связаны с узкой специализацией сборки под высокопроизводительные GPU RTX 5090 и необходимостью совместимой конфигурации инференса. Репозиторий помечен как устаревший: рекомендуется использовать более новый Qwen3.8-27B-NVFP4-RTX5090, в котором удалены NVFP4 lm_head и MTP head и заявлены меньший размер и два шарда. Модель распространяется по лицензии Apache 2.0.