II.3Рефакторинг, миграция и модернизация

IntervitensInc/Llama-3.1-Minitron-4B-Width-Base-chatml — текстовая авторегрессионная модель семейства Llama, разработанная NVIDIA. Это базовая модель для генерации текста и адаптации к различным задачам обработки естественного языка; в этой версии добавлены токены ChatML для дообучения в формате диалога. Модель получена структурным прореживанием Llama-3.1-8B по размеру эмбеддингов и промежуточному слою MLP, после чего прошла дальнейшее обучение с дистилляцией на 94 млрд токенов. Архитектура включает 32 слоя, 32 головы внимания, Grouped-Query Attention и RoPE; число параметров — 3,9 млрд. Модель принимает и выдаёт текст. В README заявлена поддержка английского и многоязычного текста, а также кода; корпус включал веб-страницы, диалоги и документы из разных областей. Метаданные указывают контекстное окно 131 072 токена. Модель предназначена для генерации текста и дальнейшей адаптации под прикладные сценарии; README также сообщает о готовности к коммерческому использованию. Указана лицензия other, поэтому перед использованием следует свериться с условиями NVIDIA. Модель может выдавать неточные, неполные или избыточные ответы и воспроизводить токсичность и предвзятость из обучающих данных.

GPT4All-Community/Meta-Llama-3.1-8B-Instruct-128k-GGUF — это конвертированная и квантизированная GGUF-версия Meta-Llama-3.1-8B-Instruct. Модель подготовлена пользователем 3Simplex для использования в GPT4All; для работы требуется GPT4All версии 3.1.1 или новее. Базовая модель разработана Meta, однако в README не указаны дополнительные сведения о разработчике исходной модели. Модель предназначена для генерации текста и диалоговых сценариев с системными и пользовательскими сообщениями. Заявлена длина контекста до 131 072 токенов, что позволяет обрабатывать длинные документы и продолжительные диалоги. Известно, что модель содержит 8 миллиардов параметров и использует инструкционную настройку, но сведения о поддерживаемых языках и модальностях отсутствуют. К преимуществам относятся большой контекст и возможность локального использования через GPT4All. Модель не является официально курируемой и поддерживаемой Nomic: в README указано, что требуется дополнительное тестирование и обратная связь, поэтому качество и стабильность следует оценивать в конкретных задачах. Лицензия обозначена как llama3.1; перед использованием необходимо ознакомиться с её условиями.

Meta-Llama-3-8B-Instruct-GGUF-special-tokens — инструкционная языковая модель семейства Llama 3, разработанная Meta и представленная в формате GGUF пользователем bartowski. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. Суффикс special-tokens указывает на вариант с поддержкой специальных токенов, однако подробности преобразования в GGUF в README не приведены. Известно, что модель ориентирована на английский язык и относится к классу text-generation. Размер модели — 8B параметров; архитектура Llama 3, точная конфигурация контекста и сведения о модальностях в представленном README не указаны. Модель является текстовой, поэтому описание мультимодальных возможностей отсутствует. Вариант GGUF обычно предназначен для локального запуска совместимыми средствами, но конкретные требования к оборудованию и производительности не приведены. Модель может быть полезна благодаря инструкционной настройке и относительно компактному размеру по сравнению с более крупными моделями, однако качество и применимость зависят от используемой сборки и сценария. Ограничения включают отсутствие подтверждённых сведений о поддерживаемых языках помимо английского, контекстном окне, квантовании, бенчмарках и безопасностных характеристиках. Распространение и использование регулируются Meta Llama 3 Community License: необходимо соблюдать условия лицензии, Acceptable Use Policy и требования к атрибуции, включая указание «Built with Meta Llama 3» при соответствующих формах распространения.

Nova-1 Standard (Phase 3 SFT) — компактная авторегрессионная языковая модель Smilyai Labs с 1,27 млрд параметров, обученная с нуля и дообученная для следования инструкциям и многоходового диалога. Она предназначена для генерации текста, ответов в чате, а также задач с кодом и математикой. Модель использует плотную decoder-only архитектуру Nova1ForCausalLM, Mixture-of-Depths, Grouped-Query Attention, SwiGLU и RoPE. Есть собственный токенизатор на основе GPT-2 BPE с маркерами для кода, математики и ChatML. Модель работает через Transformers и выдаёт текст; заявлена поддержка английского языка. В README отмечено, что KV-кэш отключён, поэтому при генерации на каждом шаге передаётся полный контекст, что может снижать скорость вывода. Модель распространяется по лицензии Apache-2.0. README описывает обучение на веб-текстах, коде, математических данных и наборах инструкционных диалогов.

Occiglot-7B-it-en-Instruct — генеративная языковая модель Occiglot Research Collective, дообученная следовать инструкциям и поддерживать диалог. Это плотный decoder-only трансформер Mistral с 7,1 млрд параметров; модель принимает текст и имеет контекст до 32 768 токенов. Карточка описывает поддержку английского и итальянского языков, а также кода; обучение включало многоязычные и программные инструкции, а взаимодействие рассчитано на шаблон ChatML. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, генерации текста и помощи с кодом на английском и итальянском. Это ранний выпуск исследовательского проекта, обученный на дополнительных инструкционных данных; приведённые оценки названы предварительными, а неанглоязычные результаты ограничены особенностями тестовых наборов. Модель не прошла safety alignment и может выдавать проблемный контент. Лицензия — Apache 2.0.

Карточка модели ThomasComics/Phi-3-mini-128k-instruct-LLaMAfied на Hugging Face совпадает с карточкой vonjack/Phi-3-mini-4k-instruct-LLaMAfied, поэтому описание составлено по ней. vonjack/Phi-3-mini-4k-instruct-LLaMAfied — текстовая генеративная модель на 3,7 млрд параметров, опубликованная vonjack. В метаданных указана архитектура LlamaForCausalLM; карточка описывает исходную модель Phi-3 Mini-4K-Instruct и её настройку для следования инструкциям. Контекст составляет 4096 токенов, формат весов — safetensors. Модель предназначена для диалогов и генерации текста, включая задачи на логику, математику и программирование. Компактный размер подходит для сред с ограниченными ресурсами и сценариев, где важна задержка; заявленная ориентация — коммерческое и исследовательское применение на английском языке. Лицензия — MIT. README указывает, что качество на языках кроме английского ниже; ответы могут быть неточными, устаревшими, предвзятыми или оскорбительными. Сгенерированный код и API следует проверять, особенно вне Python. Для чувствительных и высокорисковых сценариев необходимы дополнительные проверки и меры защиты.

vonjack/Phi-3-mini-4k-instruct-LLaMAfied — текстовая генеративная модель на 3,7 млрд параметров, опубликованная vonjack. В метаданных указана архитектура LlamaForCausalLM; карточка описывает исходную модель Phi-3 Mini-4K-Instruct и её настройку для следования инструкциям. Контекст составляет 4096 токенов, формат весов — safetensors. Модель предназначена для диалогов и генерации текста, включая задачи на логику, математику и программирование. Компактный размер подходит для сред с ограниченными ресурсами и сценариев, где важна задержка; заявленная ориентация — коммерческое и исследовательское применение на английском языке. Лицензия — MIT. README указывает, что качество на языках кроме английского ниже; ответы могут быть неточными, устаревшими, предвзятыми или оскорбительными. Сгенерированный код и API следует проверять, особенно вне Python. Для чувствительных и высокорисковых сценариев необходимы дополнительные проверки и меры защиты.

mlx-community/phi-4-4bit — это 4-битная версия модели phi-4, преобразованная сообществом mlx-community из microsoft/phi-4 в формат MLX с использованием mlx-lm версии 0.21.0. Модель предназначена для генерации текста и диалогового взаимодействия, включая сценарии, связанные с программированием, математикой и обработкой естественного языка. Указан английский язык. Модель поддерживает работу в экосистеме MLX через библиотеку mlx-lm и может использовать chat template для передачи сообщений с ролями пользователя и ассистента. Ключевые параметры исходной архитектуры, число параметров, максимальная длина контекста и перечень поддерживаемых модальностей в README не указаны; по имеющимся данным, модель работает только с текстом. 4-битное представление ориентировано на более экономичное локальное использование, однако может сопровождаться ограничениями точности по сравнению с полноразмерной версией. README не содержит подробных результатов оценивания, поэтому нельзя надёжно судить о качестве модели в конкретных задачах. Модель распространяется по лицензии MIT.

Qwen3-0.6B-English — англоязычная версия Qwen3-0.6B-Base от автора harithoppil, созданная путём обрезки словаря и последующего дообучения. Это плотная авторегрессионная языковая модель на архитектуре Qwen3ForCausalLM с 456,6 млн параметров, 28 слоями и словарём из 101 816 токенов. Она принимает текст и поддерживает контекст до 40 960 токенов по метаданным. Модель предназначена для генерации английского текста, диалогов, программного кода, математических выражений и рассуждений. Она поддерживает режимы с рассуждениями и без них, а также интерфейс вызова инструментов. Удаление токенов для кириллицы, CJK, арабского и других письменностей сокращает размер матрицы эмбеддингов и выходного слоя, но ограничивает работу преимущественно английским языком; заявленные автором свойства Qwen3 не являются отдельной оценкой качества этой версии. В карточке также отмечена возможность повторов; для снижения этого риска автор рекомендует настраивать параметры генерации. Модель распространяется по лицензии Apache-2.0. Для работы автор рекомендует актуальную версию библиотеки Transformers.

harithoppil/Qwen3-0.6B-English-Pruned — это англоязычная производная плотной авторегрессионной языковой модели семейства Qwen3, основанная на Qwen/Qwen3-0.6B-Base и опубликованная пользователем harithoppil. В README описаны удаление семи слоёв из 28 методом Layer Dropping (ShortGPT) и сокращение словаря с 151 643 до 101 816 токенов. В метаданных указаны 368,5 млн параметров, архитектура Qwen3ForCausalLM, формат safetensors и контекст до 40 960 токенов. Модель предназначена для генерации английского текста, диалога, написания кода и решения математических задач; README также описывает переключение режимов рассуждения и обычного ответа. Сокращённый словарь исключает токены для кириллицы и ряда других письменностей, поэтому модель специализирована на английском, коде и математике. Удаление слоёв и уменьшение словаря нацелены на снижение размера и повышение скорости вывода, но в README не приведены сравнительные измерения качества или скорости. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель, созданная в коллаборации shaffhausen/DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh на базе Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. В разработке использовались методы Unsloth, датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также дополнительные обучающие материалы Fable, Claude Opus, GPT5 и собственные наборы данных. Лицензия — Apache-2.0; заявлены языки английский и китайский. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, генерации кода, творческого письма, художественной прозы, ролевых сценариев и других универсальных применений. В README заявлена поддержка vision, однако подробности о визуальном энкодере и формате мультимодального ввода не приведены. Архитектурный размер — 27B; точный контекст и базовая архитектура не указаны. Репозиторий содержит обычные и MTP-варианты GGUF-квантов, включая 4- и 8-битные варианты. Кванты используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; в MTP-вариантах MTP-тензоры имеют точность Q8_0. К сильным сторонам относятся заявленные улучшения следования инструкциям, общего интеллекта, решения задач и рассуждений, а также сохранение производительности на низких квантах. Автор сообщает о превосходстве базовой Qwen3.6-27B в шести из семи бенчмарков и о результатах выше Qwen3.6-35B-A3B, но эти утверждения представлены самим автором и не подтверждены независимыми данными в README. Ограничения включают отсутствие подробных результатов тестов, точных требований к оборудованию и данных о контекстном окне. Модель позиционируется как uncensored/heretic, поэтому поведение в чувствительных сценариях и соответствие требованиям безопасности следует проверять отдельно. Для MTP-вариантов рекомендуется температура не выше 1, поскольку более высокие значения могут ухудшать работу multi-token prediction.

Это дообученная модель lordx64 на базе Qwen/Qwen3.6-35B-A3B: к ней применили дистилляцию рассуждений Claude Opus 4.7 на примерно 8 тысячах трассировок. Модель построена на архитектуре Mixture of Experts с 35 млрд параметров, из которых около 3 млрд активны на каждом токене; веса доступны в формате safetensors, лицензия — Apache 2.0. Карточка указывает контекст до 64 тысяч токенов. Модель предназначена для сложных многошаговых задач: математики, STEM-вопросов, рассуждений при решении задач по программированию, логических головоломок и планирования действий агента. Она генерирует явные длинные цепочки рассуждений перед ответом; в README приведены результаты GSM8K CoT и MMLU-Pro. Метаданные указывают диалоговые и интерфейсные возможности вызова инструментов, но основная задача в каталоге — генерация текста. Дистилляция нацелена на стиль и структуру рассуждений, а не на расширение фактических знаний базовой Qwen. Тонкая настройка затрагивала только attention-слои, поэтому улучшения могут быть неравномерными. На сложных запросах модель способна генерировать тысячи или десятки тысяч токенов, что увеличивает задержку и расход вычислений; для практического использования следует ограничивать длину генерации. README также отмечает необходимость учитывать политики Anthropic для конкретного сценария использования данных учителя.

LaTexT разработала дообученную версию Qwen3-8B для генерации текста в диалоговом формате. Модель построена на плотной архитектуре Qwen3 и содержит 7,6 млрд параметров; она обучена с помощью TRL на датасете shannons/ot3-1.2m-50k-converted. Для запуска в README приведён пример с библиотекой Transformers. Модель рассчитана на диалоговую генерацию текста и может использоваться для ответов на вопросы и выполнения инструкций. Метаданные также отмечают интерфейс вызова инструментов. Контекстное окно составляет 40 960 токенов; базовая Qwen3-8B описана как многоязычная модель, пригодная для рассуждений и работы с кодом. Это экспериментальный чекпойнт из серии обучения latent-COT: в README указаны итерация 2, версия v3, вес 0,2 и размер gist 7. Лицензия в предоставленных данных не указана.

Qwen3-Next-80B-A3B-Thinking-4bit — языковая модель для генерации текста, опубликованная сообществом mlx-community. Она представляет собой конвертированную в формат MLX версию базовой модели Qwen/Qwen3-Next-80B-A3B-Thinking; конвертация выполнена с использованием mlx-lm версии 0.27.1. Модель предназначена для запуска и генерации текста в экосистеме MLX, в частности через библиотеку mlx-lm на совместимых системах. Из известных характеристик указаны размер исходной модели 80B и 4-битное квантование, обозначенное в идентификаторе модели. Название Thinking указывает на ориентированность исходной модели на задачи, требующие рассуждений, однако README не содержит подробностей об архитектуре, количестве активных параметров, языках, размере контекста, поддерживаемых модальностях или результатах тестирования. В README также не описаны конкретные сильные стороны и ограничения качества модели; практические характеристики зависят от среды MLX и доступных вычислительных ресурсов. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README приводит пример загрузки модели, токенизатора и генерации ответа с поддержкой chat template, если он определён.

Rombos-Qwen2.5-32B-lorablated — объединённая текстовая модель на 32 млрд параметров, созданная с помощью mergekit из rombodawg/Rombos-LLM-V2.5-Qwen-32b и nbeerbower/Qwen2.5-32B-abliterated-LORA. Это плотная авторегрессионная архитектура Qwen2, предназначенная для диалогов и генерации текста; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка описывает объединение методом task arithmetic, однако не приводит оценок качества или подробных сведений о языках. Как и другие крупные генеративные модели, она может выдавать неточные или вымышленные ответы; практические возможности вызова инструментов зависят от используемого интерфейса.

Spark-X2.5-4B MLX 8-bit — 8-битная версия языковой модели XHToken/Spark-X2.5-4B, подготовленная для MLX. Модель предназначена для задач общего назначения, включая рассуждения, программирование, использование инструментов и агентские рабочие процессы. Идентификатор модели — abenzerps/Spark-X2.5-4B-MLX-8bit. Модель имеет архитектуру spark2_5, содержит около 4 миллиардов параметров и работает с текстом. Заявлен нативный контекст до 1 048 576 токенов, что подходит для обработки очень больших документов и длинных последовательностей. Веса представлены в формате MLX 8-bit и занимают около 4,37 ГБ; языки обучения или поддержки в README не указаны. Для работы требуется Spark-MLX-LLM: модель пока не поддерживается oMLX и стандартным MLX-LM. README не приводит подробных результатов тестирования, поэтому качество в конкретных задачах нельзя оценить по представленным данным. Модель распространяется по лицензии Apache-2.0.

LeroyDyer дообучил модель LeroyDyer/SpydazWeb_AI_CyberTron_Ultra_7b на базе LeroyDyer/Mixtral_AI_CyberTron_Ultra. Это языковая модель с архитектурой MistralForCausalLM и 7,1 млрд параметров, предназначенная для генерации текста в диалогах и выполнения инструкций. В карточке отмечены возможности работы с кодом, математикой, финансовыми темами, ролевыми сценариями и несколькими языками, однако заявленные тематические навыки не подкреплены подробными оценками. Модель использует контекст до 32 768 токенов и распространяется в формате safetensors через Transformers. Автор сообщает об обучении с Unsloth и библиотекой TRL; приведены результаты оценок IFEval и BBH. Лицензия — Apache-2.0. В карточке есть неоднозначность: README описывает базовую Mistral-7B-Instruct-v0.2, тогда как метаданные и строка о дообучении указывают на Mixtral_AI_CyberTron_Ultra. Для базовой модели в каталоге использована связь из метаданных Hugging Face.

Olmo-3.1-32B-Instruct-GGUF — это квантизированная версия языковой модели Olmo-3.1-32B-Instruct, разработанной AllenAI. Публикацией и квантизацией в формате GGUF занимался bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих llama.cpp, включая LM Studio. Модель имеет размер 32 млрд параметров, относится к текстовым моделям и, согласно карточке, ориентирована на английский язык. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ; размеры файлов составляют примерно от 14 до 64 ГБ. Для работы необходимо использовать соответствующий шаблон чата с ролями system, user и assistant. Размер контекста и другие архитектурные характеристики в карточке не указаны. Сильной стороной является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, потреблением памяти и скоростью локального запуска. Варианты Q5 и Q6 заявлены как высококачественные, а Q4_K_M — как подходящий вариант для большинства сценариев. Более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная; поддержка других языков, кроме английского, в карточке не описана. Лицензия — Apache 2.0.

BlueLM-7B-Chat-4bits — 4-битная квантованная версия диалоговой языковой модели BlueLM, разработанной vivo AI Lab. Модель с плотной архитектурой BlueLM и примерно 6,9 млрд параметров предназначена для генерации текста в диалоге и ответов на запросы пользователя. В карточке указана длина контекста 2048 токенов. Модель обучалась преимущественно на китайских и английских данных; корпус также содержал небольшую долю японских и корейских текстов. В README заявлены результаты на тестах общих знаний, математики и программирования, включая C-Eval, MMLU, GSM8K и HumanEval. Лицензия обозначена как other; README сообщает, что веса BlueLM открыты для академических исследований и коммерческого использования.

DeepSeek V4 Flash — REAM144 (163B) DS4 Q2 — это чат-модель WaveCut в формате GGUF, созданная на основе DeepSeek-V4-Flash-0731-REAM144-163B. В сборке сохранено 144 из исходных 256 экспертов на слой; модель квантизована до 2 бит для экспертов и 8 бит для attention, с использованием матрицы важности. Файл весит 49,3 ГБ, а автор указывает запуск на Mac с 64 ГБ памяти и контекстом 8 тыс. токенов. Модель предназначена для многоязычного диалога, рассуждений, ответов на вопросы по коду и сценариев с инструментами. По карточке она уверенно справляется с многоязычным чатом, рассуждениями и длинными диалогами, включая русский и переключение между английским и русским. Для запуска нужен DS4 fork с поддержкой переменного числа экспертов; обычный llama.cpp этот файл не загрузит. Квантизация 2 бит может ухудшать качество агентных задач: тесты показали непостоянные сбои при вызове инструментов, рефакторинге кода и цепочках «вызов инструмента — код». Лицензия — MIT.

DeepSeek V4 Flash REAP K128 (Uniform) — производная версия DeepSeek V4 Flash от sleepyeldrazi. В модели удалена половина маршрутизируемых экспертов MoE с помощью метода REAP; механизм внимания, эмбеддинги, общие эксперты, маршрутизатор и компоненты MTP сохранены. Тонкая настройка не выполнялась: оставшиеся веса взяты без изменений из исходной модели. Репозиторий содержит GGUF с равномерной квантизацией экспертов IQ2_XXS/Q2_K; заявленный размер файла — 46,98 ГиБ. Модель предназначена для генерации текста и диалогового использования, в том числе для задач программирования, вызова инструментов и поиска знаний. Совместима со средой ds4-engine; для запуска требуется ds4-for-reaped с поддержкой компактного GGUF. Калибровка при отборе экспертов проводилась на контексте 4096 токенов, но это не подтверждает максимальную длину контекста модели. Лицензия — MIT. Удаление половины экспертов и низкая точность квантизации могут повлиять на качество ответов; README не приводит количественных результатов оценки. Вызов инструментов обозначен как сценарий калибровки и использования, но сам по себе не подтверждает наличие отдельного интерфейса tool calling.

Bill435/Drjajsufhfh — мультимодальная модель на базе Qwen3.6-27B-Fable-Fusion-711, опубликованная в формате GGUF. Она создана в рамках совместной работы автора репозитория с участниками Nightmedia, TeichAI, armand0e и trohrbaugh с использованием многоэтапного дообучения, нескольких слияний моделей и Unsloth. В README также указаны датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель распространяется по лицензии Apache-2.0. Модель предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, создания историй, ролевых сценариев и других универсальных применений. Заявлена поддержка работы с текстом и изображениями, а также языков английского и китайского. Доступны обычные и MTP-варианты GGUF-квантования; используются NEO IMATRIX-кванты, а выходной тензор в них частично сохранён в 16-битной точности. Указан размер базовой модели 27B, однако размер контекстного окна в README не приведён. К сильным сторонам относятся улучшенное следование инструкциям, общее решение задач, рассуждения и, по заявлениям авторов, высокие результаты на ряде бенчмарков даже в 4- и 8-битных вариантах. Формат GGUF и ориентация на потребительское оборудование упрощают локальный запуск, но точные требования к памяти и производительности зависят от выбранного кванта. Модель помечена как uncensored и heretic, поэтому её защитные ограничения могут быть ослаблены; заявленные показатели производительности основаны на описании авторов и не подтверждены независимыми данными в представленном README.

QuantFactory/gemma-2-9b-GGUF — это квантованная версия языковой модели Gemma 2 с 9 млрд параметров, созданная на основе google/gemma-2-9b с использованием llama.cpp. Разработчик исходной модели — Google. Модель относится к авторегрессионным decoder-only моделям для генерации текста и распространяется в формате GGUF. Модель предназначена для текстовых задач, включая ответы на вопросы, суммирование, рассуждения, диалоговое взаимодействие и другую генерацию текста. Указана поддержка английского языка. Квантование уменьшает требования к вычислительным ресурсам и делает модель более подходящей для запуска на локальных компьютерах и в инфраструктуре с ограниченными ресурсами, однако может сопровождаться снижением качества по сравнению с исходными весами; конкретный уровень квантования в README не указан. Ключевые ограничения — текстовая модальность, отсутствие сведений о размере контекста, точной схеме квантования и результатах оценки именно этой сборки. Использование регулируется лицензией Gemma и соответствующими условиями Google.

pytorch/gemma-3-12b-it-AWQ-INT4 — это квантизированная версия instruction-tuned языковой модели google/gemma-3-12b-it, разработанная pytorch. Модель предназначена для диалогового взаимодействия, генерации и обработки текста, включая ответы на вопросы, краткие объяснения и другие сценарии использования через chat completions или библиотеку Transformers. В README явно указан английский язык; сведения о поддерживаемых модальностях и размере контекстного окна отсутствуют. Модель содержит 12 миллиардов параметров и использует квантизацию AWQ-INT4 с группой размера 128 для весов линейных слоёв. Квантизация снижает требования к памяти по сравнению с исходной версией bfloat16 и рассчитана на запуск с PyTorch, torchao, Transformers и vLLM. В примере генерации поддерживается режим рассуждений, который можно включать или отключать через chat template. Для работы с vLLM требуется nightly-версия vLLM и torchao; из-за известных проблем совместимости рекомендуется отключать compile cache. По данным README, на ограниченной калибровке из 30 примеров задачи mmlu_philosophy модель показала точность 76,85% против 75,56% у gemma-3-12b-it-INT4 и 79,10% у базовой версии bfloat16. Эти результаты нельзя считать полноценной оценкой общих возможностей модели. В рецепте квантизации указано, что AWQ на данный момент работает только на H100 INT4, поэтому аппаратная совместимость может быть ограничена. Модель распространяется по лицензии Apache-2.0.

ZeroXClem/Gemma3-4B-Arceus-Servant — мультимодальная модель для диалогов, созданная ZeroXClem путём слияния нескольких моделей семейства Gemma 3 методом MODEL STOCK. В состав вошли Gemma3-Callous-Calla-4B, Meteor_4B_V.1, scout-4b, gemma-3-4b-it-claude, Gemma3-Code-Reasoning-4B и gemma-3-4b-it-abliterated. Модель основана на архитектуре Gemma 3 4B с 34 слоями и использует формат safetensors; README также указывает точность bfloat16. Модель предназначена для диалогов, ответов на вопросы по изображениям, генерации текста, программирования и творческого письма. В карточке заявлены рассуждения с учётом ограничений и высокая точность следования инструкциям. Эти качества описаны разработчиком, но независимые результаты оценки не приведены. Лицензия — Apache-2.0. Среди ограничений: заявленная в README ослабленная система отказов означает, что модель может охотнее отвечать на запросы, от которых другие модели отказываются; перед применением в чувствительных сценариях ответы следует проверять.

GPT-OSS-Swallow 120B RL v0.1 — японско-английская языковая модель TokyoTech-LLM, дообученная на основе GPT-OSS-Swallow-120B-SFT-v0.1 с применением обучения с подкреплением по проверяемым наградам. Это разреженная MoE-модель для диалогов и генерации текста; заявленный размер — 2,1 млрд параметров, контекстное окно — до 131 072 токенов. В обучении уделено внимание японскому и английскому языкам, математике, программированию и рассуждениям. Модель подходит для двуязычного общения, перевода между японским и английским, решения математических задач, помощи с кодом и ответов на общие вопросы. Разработчики сообщают о сохранении и улучшении математических и программных навыков относительно исходной GPT-OSS. Хотя технически поддерживается контекст до 131 072 токенов, модель не обучалась и не оценивалась на задачах с контекстом свыше 32 тысяч токенов; для стабильности рекомендуется reasoning effort medium. Использование инструментов явно не обучалось, поведение при вызове функций и самоидентификации не подтверждено. Модель выпущена под лицензией Apache-2.0.

Ling-3.0-flash-GGUF — это GGUF-квантизированная версия языковой модели Ling-3.0-flash, разработанной inclusionAI и подготовленной для распространения bartowski. Модель предназначена для генерации текста и запуска через llama.cpp; поддерживает спекулятивное декодирование MTP и входные данные в текстовой модальности. Модель содержит 127 млрд параметров. Доступны варианты от BF16 и Q8_0 до компактных квантов Q2 и IQ2; размер файлов составляет примерно от 43,64 до 255,09 ГБ. Для большинства сценариев README рекомендует Q4_K_M как компромисс между качеством и размером, а Q5 и Q6 — когда важнее качество. Квантизация выполнена с использованием imatrix, однако измерения perplexity и KLD не предоставлены. Архитектура, поддерживаемые языки и размер контекстного окна в представленных данных не указаны. Сильными сторонами являются большой объём параметров, широкий выбор уровней квантизации и совместимость с экосистемой llama.cpp. Ограничениями выступают значительные требования к дисковому пространству и ресурсам, особенно для высококачественных вариантов; низкобитные кванты экономят память, но могут заметно снижать качество. Лицензия — MIT.

Minerva-7B-instruct-v1.0 — диалоговая языковая модель Sapienza NLP, созданная в рамках проекта FAIR при сотрудничестве с CINECA и участии Babelscape и проекта CREATIVE PRIN. Это дообученная версия Minerva-7B-base-v1.0 на архитектуре Mistral с 7,2 млрд параметров и контекстом до 4096 токенов. Семейство Minerva предварительно обучалось с нуля на итальянских и английских текстах; в составе данных также был код. Версия instruct прошла настройку инструкциями и оптимизацию предпочтений DPO. Модель предназначена для диалога и генерации текста: она может отвечать на вопросы, объяснять темы, помогать с рассуждениями и решать задачи по коду. В первую очередь она рассчитана на итальянский и английский языки. Разработчики предупреждают, что ответы могут содержать фактические ошибки, стереотипы, оскорбительный или иной нежелательный контент, а также быть нерелевантными или повторяющимися. Лицензия — Apache-2.0.

Muse-Glimmer-30B-CoreAI — это квантованный текстовый декодер модели Meta Muse-Glimmer-30B, подготовленный для запуска в Apple Core AI, преемнике Core ML. Модель предназначена для локальной генерации текста на устройствах Apple с macOS 27 и соответствующей поддержкой Core AI; заявлены сценарии диалога, работы с кодом, пошаговых рассуждений и вызова инструментов. Перцептивный энкодер исходной агентной VLM в комплект не входит, поэтому данная версия работает только с текстом. Модель имеет около 30 млрд параметров; используется формат Core AI .aimodel и 4-битная квантизация int4hu. Размер артефакта составляет 16,35 ГБ. В описании упоминается окно контекста до 2048 токенов и запуск на GPU или Neural Engine через Apple Core AI. На Mac Studio с M4 Max заявлена скорость декодирования около 26,69 токена в секунду без спекулятивного декодирования, а для отдельных задач с n-gram drafting — до 53,71 токена в секунду. Спекулятивное декодирование не требует дополнительных весов и, по приведённым тестам, сохраняет побайтно идентичный результат. Сильными сторонами являются локальный запуск, сравнительно небольшой для 30B-модели размер, поддержка Apple Silicon и высокая скорость генерации; результаты зависят от сценария, длины генерации, охлаждения устройства и параметров спекулятивного декодирования. Ограничения включают отсутствие визуального энкодера, ограниченное контекстное окно, зависимость производительности от оборудования и отсутствие универсальности приведённых бенчмарков. Модель распространяется по лицензии Apache-2.0.

OpenYourMind создала эту полноразмерную BF16-версию NVIDIA Nemotron-3-Ultra-550B-A55B с ослабленными отказами на типовых категориях запросов. По описанию автора, изменение выполнено офлайн-проекцией направления отказа на веса без дополнительного обучения и без изменения структуры базовой модели. Модель содержит 550 млрд параметров, из которых активно 55 млрд, и использует гибридную архитектуру Mamba-2, Attention и Latent-MoE; сохранены режим рассуждений enable_thinking и голова MTP для спекулятивного декодирования. Модель предназначена для диалоговой генерации текста, сложных рассуждений и технических или защитных запросов, на которые исходная модель могла отказывать. Контекст составляет 262 144 токена. Веса BF16 занимают около 1,1 ТБ и требуют мног GPU-развёртывания; автор указывает vLLM как вариант запуска. README заявляет сохранение связности, точности и многоязычной беглости, однако не приводит независимых оценок этих свойств. Лицензия — OpenMDW-1.1, унаследованная от базовой модели.