II.3Рефакторинг, миграция и модернизация

Iceball-Phi-3.5-mini-instruct-shareGPT-v1.0 — компактная языковая модель EpistemeAI, дообученная на базе unsloth/phi-3.5-mini-instruct-bnb-4bit с использованием Unsloth и TRL. В карточке указаны supervised fine-tuning, PPO и DPO; модель предназначена для диалогового следования инструкциям и генерации текста. По метаданным она содержит 3,7 млрд параметров, использует плотную архитектуру семейства Llama и поддерживает контекст до 4096 токенов. Модель рассчитана на общие генеративные приложения, в том числе работу в условиях ограниченных вычислительных ресурсов и низкой задержки, а также задачи рассуждения, программирования, математики и логики. README заявляет поддержку нескольких языков, но метаданные карточки указывают английский язык. Лицензия — Apache-2.0. Указанная в README длина контекста 128K противоречит метаданным каталога, поэтому здесь приведено значение 4096 токенов из метаданных.

I-DLM-32B — плотная диффузионная языковая модель на 29,7 млрд параметров, созданная командой yifanyu на основе Qwen/Qwen3-32B. Она предназначена для диалоговой генерации текста, ответов на вопросы, математических рассуждений, программирования и следования инструкциям. Метод Introspective Strided Decoding позволяет генерировать и проверять группы токенов параллельно; для воспроизведения результатов авторы рекомендуют конвейер ISD на базе SGLang. Модель заявлена как сопоставимая по качеству с авторегрессионной Qwen3-32B на 15 тестах, охватывающих знания, математику, код и следование инструкциям. Модель использует архитектуру SDAR и принимает текст, выдавая текст. Нативная длина контекста — 40 960 токенов. Карточка указывает английский язык; базовая Qwen3-32B описана как многоязычная. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0. Прямая загрузка через Transformers пока не поддерживает воспроизведение результатов из статьи; для вывода рекомендуется SGLang с реализацией ISD.

Infinity-Instruct-3M-0625-Llama3-8B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), созданная дообучением Llama 3 методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная авторегрессионная модель семейства Llama примерно с 7,5 млрд параметров, предназначенная для диалогов и следования инструкциям. Она принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Модель не обучалась с использованием обучения с подкреплением по обратной связи от людей (RLHF), а разработчики сообщают о хороших результатах на AlpacaEval 2.0 и MT-Bench. Модель подходит для многошаговых диалогов, ответов на вопросы, повседневных текстовых задач, а также задач по коду и математике. Карточка указывает англоязычный контекст, поэтому основной подтверждённый язык — английский. Репозиторий распространяется в формате safetensors. В README указана лицензия Apache-2.0 в метаданных, однако там же ресурсы проекта, включая веса, ограничены академическими исследованиями и запрещены для коммерческого использования; это расхождение следует учитывать при применении. Разработчики также предупреждают, что точность ответов не гарантируется.

RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8-dynamic — квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель архитектуры LlamaForCausalLM для генерации текста, диалоговых ассистентов и tool calling. Модель получает текст на вход и генерирует текст на выходе; поддержка вызова инструментов реализована через специальный шаблон чата и парсер llama3_json. Модель содержит 8 млрд параметров и использует FP8-квантизацию весов и активаций. Квантизируются линейные операторы в трансформерных блоках с применением симметричной поканальной схемы для весов и динамической потокенной квантизации активаций. По сравнению с 16-битным представлением это примерно вдвое уменьшает размер на диске и требования к памяти GPU. Модель рассчитана на эффективный инференс с vLLM; заявлено восстановление качества на уровнях 99,7–105,4% относительно исходной модели в ряде тестов, включая Arena-Hard, OpenLLM и HumanEval. В метаданных указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, однако README отдельно ограничивает использование языком английским и указывает, что применение в других языках относится к сценариям вне области назначения. Контекст модели в README явно не указан. Модель предназначена для коммерческого и исследовательского использования с учетом условий лицензии Llama 3.1 и применимых законов и ограничений. Она была проверена с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4.

MiniCPM5-2B-MLX — компактная языковая модель из серии MiniCPM5, разработанная командой OpenBMB. Это плотная Transformer-модель примерно на 2 млрд параметров, предназначенная для генерации текста и локального развертывания на устройствах с ограниченными ресурсами. В карточке указана поддержка английского и китайского языков, а также сценарии on-device и edge AI. Модель рассчитана на следование инструкциям, программирование, математические задачи, понимание длинного контекста, использование инструментов и агентские сценарии. По заявлению разработчиков, среди открытых моделей сопоставимого размера она показывает передовые результаты и в целом остается конкурентоспособной моделям класса 4B, особенно в коде, математике, работе с длинным контекстом и tool use. Точная максимальная длина контекста и подробные результаты тестов в предоставленных данных не указаны. К основным ограничениям относятся меньший размер и, вероятно, более ограниченные возможности по сравнению с крупными языковыми моделями; конкретные ограничения качества, требования к оборудованию и поддерживаемые форматы MLX в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

SanctumAI/Mistral-7B-Instruct-v0.3-GGUF — это квантизированная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и подготовленной в формате GGUF командой SanctumAI. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая использование через локальные приложения, поддерживающие GGUF. Она также поддерживает function calling. Модель основана на Mistral-7B-v0.3 и использует расширенный словарь размером 32 768 токенов и tokenizer v3. В репозитории доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размер файлов составляет примерно от 2,72 до 14,50 ГБ. Для полного контекста до 32 000 токенов заявленные требования к памяти варьируются от 6,78 до 17,74 ГБ в зависимости от варианта. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует считать текстовой. Ключевое преимущество — возможность запускать модель локально с выбором компромисса между размером, требованиями к памяти и сохранением качества. Ограничения связаны с потерями качества при низкой степени квантизации и с тем, что это сравнительно компактная 7-миллиардная модель, поэтому её возможности уступают более крупным моделям в сложных задачах. Модель распространяется по лицензии Apache-2.0.

Mistral-Nemo-Instruct-heretic — модифицированная версия Mistral-Nemo-Instruct-2407, разработанного совместно Mistral AI и NVIDIA. Модель обработана с помощью Heretic v1.4.0 методом directional ablation («abliteration»): целевые изменения внесены в веса выходных проекций attention и down-projection MLP для подавления отказов без дообучения. Базовый размер модели — 12,2 млрд параметров; доступны веса BF16 и квантизованные версии в формате GGUF. Модель предназначена для диалогов, генерации текста, следования инструкциям, сложных рассуждений, приложений с длинным контекстом, roleplay и локального запуска на потребительских GPU или CPU. Заявлена поддержка многоязычных сценариев, при этом в карточке явно указан английский язык. Модель совместима с Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Доступны квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0 с объёмом файлов примерно от 8,1 до 13,1 ГБ; для контекста требуется дополнительная память. Сильная сторона модели — сохранение основных знаний и возможностей базовой Mistral-Nemo-Instruct-2407 при более прямом следовании запросам и отсутствии встроенного слоя отказов. Ограничение состоит в намеренном подавлении защитного поведения: модель может выполнять потенциально небезопасные запросы, которые базовая версия отклоняет, поэтому её не рекомендуется размещать за незащищённым публичным интерфейсом. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Phi-3.1 Mini 4K Instruct — компактная языковая модель Microsoft, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантизацию выполнил bartowski на основе релиза llama.cpp b3460. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации текста и кода, математических задач, рассуждений, понимания языка и работы с общими знаниями. Модель построена как плотный decoder-only Transformer и содержит 3,8 млрд параметров. Она обучалась на 3,3 трлн токенов, включая отфильтрованные общедоступные документы, образовательные материалы, код, синтетические «учебниковые» данные и высококачественные диалоги. Для выравнивания использовались Supervised Fine-Tuning и Direct Preference Optimization. Доступна поддержка английского языка, контекст ограничен 4096 токенами, предусмотрена работа с тегом <|system|> и многошаговыми диалогами. К сильным сторонам относятся улучшенное следование инструкциям, структурирование ответов, математическое и логическое рассуждение, генерация кода и качество многоходового общения при небольшом размере модели. Ограничениями являются компактный контекст в 4K токенов, заявленная языковая поддержка только английского и возможные неточные, вредные или неподходящие ответы, характерные для генеративных моделей. Модель распространяется по лицензии MIT; конкретный файл GGUF предназначен для использования с совместимыми инструментами, включая LM Studio.

Qemma-Q14B — экспериментальная гибридная языковая модель от Convergent Intelligence LLC: Research Division. Она объединяет веса Gemma 3 1B и Qwen3 14B; согласно карточке, в основе лежит тело Gemma с MLP и механизм внимания Qwen, а слои проецируются и выравниваются. Модель представлена в формате Safetensors и предназначена для генерации текста и диалогов. Модель обучалась методом SFT для следования инструкциям и пошаговых рассуждений. В карточке также заявлены сценарии помощи с кодом, анализа и дальнейшего дообучения. Для расширения контекста используется масштабирование RoPE на основе YaRN; метаданные указывают контекст до 524 288 токенов. Поддерживаемый язык, указанный в метаданных, — английский. Карточка предупреждает о возможных галлюцинациях и не рекомендует полагаться на модель в критически важных, медицинских, юридических и финансовых решениях. Лицензия — OSL-3.0; при использовании следует учитывать лицензии исходных моделей и датасетов.

ArliAI/Qwen3.5-27B-Derestricted — модифицированная версия Qwen3.5-27B, разработанная Arli AI. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений. Её ключевая особенность — уменьшение или удаление поведения, связанного с отказами в ответах, при сохранении возможностей исходной модели. Модель содержит около 27 млрд параметров и построена как каузальная языковая модель с vision encoder. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; языковая часть включает 64 слоя. Заявлена поддержка 201 языка и диалекта. Модель совместима с Transformers, vLLM, SGLang и KTransformers. Точный размер контекста в предоставленных данных не указан. Для модификации применён метод Norm-Preserving Biprojected Abliteration: направление, связанное с отказами, удаляется с сохранением исходных норм весов. Это потенциально помогает сохранить рассуждения и общую производительность лучше, чем стандартная abliteration, однако приведённые в README утверждения о преимуществах основаны на заявлениях разработчика и не сопровождаются конкретными результатами тестов. Отсутствие защитных отказов расширяет область применения, но повышает риск генерации небезопасного или вредоносного контента. Модель распространяется по лицензии Apache-2.0.

FadedRedStar/Qwen3.5-4B-heretic-imatrix-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-4B-heretic. Базовая модель разработана командой Qwen компании Alibaba, исходные веса подготовлены coder3101, а GGUF-квантизацию с importance matrix выполнил FadedRedStar. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, вызова инструментов и агентских сценариев, включая работу с изображениями при использовании vision-проектора. Модель представляет собой плотный transformer примерно на 4 млрд параметров с интегрированным vision encoder и поддержкой раннего объединения модальностей. Заявлены контекстное окно до 262 144 токенов с возможностью расширения примерно до 1 млн, поддержка 201 языка и диалекта, tool calling и формат запросов ChatML. Основные варианты весов используют квантизации IQ4_NL, Q4_K_M и Q5_K_M, оптимизированные с помощью importance matrix; vision-тензоры доступны в Q8_0 и BF16. Предусмотрены дополнительные MTP-файлы для speculative decoding. Сильной стороной модели является сочетание мультимодальности, большого контекстного окна и относительно низких требований к ресурсам, а importance matrix должна улучшать сохранение качества при низкой разрядности. Существенное ограничение — модель прошла abliteration с подавлением направлений отказа, поэтому её поведение в части отказов отличается от исходной Qwen3.5-4B и может быть менее безопасным. Приведённые показатели отказов и расхождения KL являются самоотчётными и не подтверждены независимым тестированием. Для запуска требуются совместимые с GGUF инструменты, например llama.cpp, а точные возможности зависят от выбранной квантизации и vision-проектора. В метаданных указана лицензия Apache-2.0.

Qwen3.5-9B-DeepSeek-V4-Flash — модель, разработанная Jackrong на базе unsloth/Qwen3.5-9B с использованием дистилляции из DeepSeek-V4. Обучение проводилось на датасете Jackrong/DeepSeek-V4-Distill-8000x в среде Unsloth; в проекте также участвовал инженер Kyle Hessling, предоставивший вычислительную инфраструктуру и занимавшийся тестированием. Модель предназначена для эффективного рассуждения, многошагового решения задач, программирования и агентских сценариев с генерацией действий для инструментов. Ключевая характеристика модели — размер около 9 миллиардов параметров, обеспечивающий более быстрый и менее ресурсоёмкий инференс по сравнению с крупными моделями. README указывает поддержку английского, китайского, корейского, японского, испанского и русского языков, а также заявляет возможности structured reasoning, long chain-of-thought и tool-augmented workflows. При этом точный размер контекста, сведения о полноценной мультимодальности и подробные характеристики архитектуры самой дистиллированной модели не приведены; упомянутые million-token context, DeepSeek Sparse Attention и другие архитектурные особенности относятся к модели-учителю DeepSeek-V4. Модель позиционируется как компактная и эффективная альтернатива для задач рассуждения и локального инференса, однако README описывает раннюю сравнительную оценку, выполненную в формате Q5_K_M, поэтому заявленные преимущества не следует считать универсально подтверждёнными. Лицензия — Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — квантизированная GGUF-версия модели на базе Qwen3.5-9B, разработанная автором bernquant совместно с Nightmedia. Модель создана в результате многоэтапного дообучения и слияния нескольких fine-tune-моделей на локальном оборудовании. Она ориентирована на повышение общего интеллекта, следование инструкциям, рассуждения, программирование, творческое письмо, художественную литературу, ролевые сценарии и другие универсальные задачи. Заявлена как полностью uncensored и heretic-модель с ослабленным отказом от запросов. Модель поддерживает английский и китайский языки, имеет контекстное окно до 256 тысяч токенов и активированную обработку изображений. Для работы с vision требуется отдельный файл mmproj. Доступны обычные GGUF-квантизации и варианты MTP с multi-token prediction; NEO Imatrix-квантизация заявлена как улучшающая точность, особенно в длинном контексте. MTP-варианты могут обеспечивать более высокую скорость генерации, но чувствительны к температуре, repetition penalty и уровню token acceptance; при низком acceptance обычная версия может работать быстрее. Сильными сторонами заявлены компактный размер 9B, высокая производительность на ряде тестов, улучшенное следование инструкциям, режимы thinking и instruct, а также возможность локального запуска в стандартных приложениях с поддержкой GGUF. Приведённые бенчмарки показывают высокие результаты на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, однако автор отдельно отмечает, что превосходство над более крупными моделями не гарантируется для всех задач. Ограничениями являются зависимость скорости и качества от выбранной квантизации и оборудования, необходимость отдельного mmproj для изображений и возможное снижение эффективности MTP при неподходящих параметрах. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Escha-W2 — это 2-битная квантизованная версия модели Qwen3.6-35B-A3B, разработанная Escha Labs Inc. Модель предназначена для генерации текста, программирования, рассуждений и диалоговых сценариев. Она использует архитектуру Mixture-of-Experts с 256 экспертами; эксперты квантизованы в 2–3 бита, а плотные слои представлены в int8. Размер модели на диске составляет 12,3 ГБ, заявлен поддерживаемый язык — английский. Длина контекста в README не указана. Модель ориентирована на локальный запуск через OpenAI-совместимый HTTP API. Для работы рекомендуется видеокарта с 24 ГБ VRAM, минимально заявлено 16 ГБ с ограничениями по параллельности и длине контекста. Поддерживаются NVIDIA GPU от Ampere до Blackwell на Linux x86-64; для Apple Silicon доступен отдельный runtime на базе MLX. В комплекте находятся квантизованные веса, токенизатор и конфигурация, а runtime вынесен в отдельный репозиторий. Среди заявленных результатов — pass@1 92,07 на HumanEval+, точность 61,75 на CRUXEval-O, 80,9 на MMLU-Pro, 93,8 на MATH-500 и 77,8 на GPQA-Diamond. Сильными сторонами являются высокая эффективность по объёму памяти и производительность на совместимом потребительском GPU, однако 2-битная квантизация может снижать качество относительно полноразмерных версий, а запуск требует подходящего оборудования и специализированного runtime. Лицензия — Apache-2.0.

Это объединённая авторами MaziyarPanahi языковая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и uukuguy/speechless-mistral-six-in-one-7b-orth-1.0. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы, включая задачи с кодом. Модель принимает текст и генерирует текст. Заявленная длина контекста — 32 768 токенов; основной естественный язык карточки — английский. В репозитории указаны веса Safetensors и лицензия Apache-2.0. README не приводит отдельных оценок качества или подробных ограничений применимости.

Step-3.7-Flash-GGUF — набор GGUF-квантизаций модели Step-3.7-Flash, разработанной StepFun-ai. Это мультимодальная vision-language модель для понимания изображений и работы с текстом, ориентированная на агентные сценарии, включая вызов инструментов, многошаговое рассуждение, программирование и математические задачи. Модель поддерживает входные изображения через отдельный файл проектора mmproj и может запускаться с помощью llama.cpp. Исходная модель содержит около 198 млрд параметров и использует разреженную архитектуру Mixture-of-Experts, активируя примерно 11 млрд параметров на токен. Она включает языковую часть на 196 млрд параметров и vision-энкодер на 1,8 млрд параметров, поддерживает контекст до 256K токенов и три уровня рассуждения: low, medium и high. Заявлена поддержка английского, китайского, японского, корейского, арабского, хинди, немецкого, французского, испанского и русского языков. В набор входят варианты от BF16 до агрессивных IQ3_XXS и Q3-квантизаций размером примерно от 76 до 394 ГБ; отдельный vision-проектор F16 занимает около 4 ГБ. К сильным сторонам относятся мультимодальность, большой контекст, поддержка рассуждений и инструментального взаимодействия, а также возможность локального и приватного запуска. К ограничениям относятся очень высокие требования к памяти и зависимость качества от выбранного уровня квантизации: компактные варианты могут давать заметную потерю качества. Для работы с изображениями необходим отдельный mmproj-файл. Модель распространяется по лицензии Apache-2.0.

airoboros-34b-3.3 — экспериментальная разговорная модель, разработанная Jon Durbin как дообучение 01-ai/yi-34b-200k. Это плотная языковая модель семейства Llama с архитектурой LlamaForCausalLM и 33,9 млрд параметров; она принимает текст и генерирует текст. Модель настроена на формат диалога Llama 2 и предназначена для многошаговых бесед, ответов на вопросы по предоставленному контексту, суммаризации, генерации кода, инструкций и структурированных аргументов для вызова функций. Обучение опирается главным образом на синтетические данные Airoboros 3.2, а также на сторонние наборы для диалогов, рассуждений, кода, суммаризации и ролевых сценариев. Хотя базовая Yi поддерживает контекст до 200 000 токенов, эту версию дообучали с длиной контекста 8 000 токенов, поэтому качество на более длинном вводе может быть ненадёжным. Автор отмечает склонность к выдумыванию ответов и рекомендует низкую температуру и явные инструкции для задач по контексту. Лицензия указана как other; конкретные условия в предоставленных данных не описаны.

jondurbin/airoboros-65b-gpt4-1.3 — плотная языковая модель семейства LLaMA с 65 млрд параметров, дообученная автором методом QLoRA на синтетических инструкциях, созданных GPT-4. Она предназначена для диалогов с ассистентом, выполнения инструкций, генерации кода и ответов с рассуждением перед итоговым ответом. Для общения используется шаблон Vicuna с ролями USER и ASSISTANT; модель принимает текст и генерирует текст. Указанная длина контекста — 2048 токенов. README предупреждает о проблемах в этой версии и рекомендует использовать её с осторожностью или дождаться версии 1.4. Модель распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.

Bagel-20B-v04 — дообученная модель jondurbin на базе InternLM2-20B, созданная для диалогов и широкого круга инструктивных задач. Это плотная языковая архитектура InternLM2 с 19,3 млрд параметров, контекстом до 32 768 токенов и форматом весов safetensors. Хотя в метаданных Hugging Face указана задача feature-extraction, каталог и описание модели подтверждают её применение для генерации текста; основная задача здесь — text-generation. Модель обучалась на наборах данных для диалогов, вопросов и ответов, суммаризации, математики, естественных наук, программирования, ролевого общения и вызова функций. README указывает четыре варианта форматирования запросов: Vicuna, Llama 2, Alpaca и ChatML; шаблон по умолчанию использует формат Llama 2. Она принимает текст и генерирует текст. Поддержка русского языка отдельно не заявлена; в данных есть многоязычное чтение и задачи на нескольких языках. Лицензия в метаданных обозначена как other, без уточнения конкретных условий. Модель унаследовала ограничения базовой языковой модели и обучающих данных; README также отмечает, что часть обучающих данных содержит токсичный контент. Результаты могут различаться в зависимости от формата запроса.

Bagel DPO 7B v0.4 — разговорная языковая модель, созданная jondurbin на основе Mistral 7B v0.1 и дополнительно обученная методом direct preference optimization (DPO). Она предназначена для генерации ответов в чате, следования инструкциям и задач общего назначения, включая вопросы по контексту, математику, программирование, суммаризацию и творческое письмо. Модель использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В обучении использованы наборы инструкций и предпочтений по разным темам, в том числе код, естественные науки, чтение, диалоги и художественное письмо. Карточка указывает четыре совместимых формата промпта: Vicuna, Llama 2, Alpaca и ChatML. Модель рассчитана на генерацию текста и диалоговое применение. Карточка отмечает, что версия без DPO может быть лучше для ролевых диалогов; в наборе данных присутствуют токсичные примеры, поэтому выходы могут содержать токсичный или иной нежелательный контент. Распространяется по лицензии Apache-2.0.

Camelidae-8x7B — языковая модель семейства Camelidae, разработанная авторами проекта Parameter-Efficient Sparsity Crafting. Это разреженная MoE-модель для генерации текста и выполнения инструкций общего назначения; при обучении использовались QLoRA, адаптеры и эффективное преобразование плотных моделей в Mixture-of-Experts. В карточке указаны обучающие наборы для инструкций, программирования и математики. Модель содержит 6,6 млрд параметров и имеет контекстное окно 4096 токенов. Она построена на архитектуре LLaMA для причинной генерации текста и доступна в формате PyTorch через Transformers; для загрузки карточка приводит пример с trust_remote_code=True. Метаданные отмечают английский язык. Модель подходит для диалоговых ответов, математических рассуждений и помощи с кодом. README описывает результаты семейства Camelidae на тестах, но приведённая таблица относится к Camelidae-8x34B-pro, поэтому её показатели нельзя переносить на версию 8x7B. Лицензия — Apache-2.0.

unsloth/DeepSeek-R1-0528-Qwen3-8B-unsloth-bnb-4bit — это 4-битная версия модели DeepSeek-R1-0528-Qwen3-8B, опубликованная Unsloth и основанная на модели DeepSeek AI. Модель предназначена для диалоговых сценариев и задач, требующих рассуждений, включая математику, программирование и общую логику. Она поддерживает режимы с рассуждением и без него и работает через библиотеку Transformers. Модель имеет размер 8B параметров, однако README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекста. По заявленным данным, обновление DeepSeek-R1-0528 улучшает глубину рассуждений и результаты на сложных задачах; в частности, точность на AIME 2025 выросла до 87,5%. Для режима рассуждений не рекомендуется использовать жадное декодирование, поскольку это может снижать качество и приводить к повторениям. Для запуска требуется соблюдать рекомендованный шаблон чата и параметры генерации. Модель распространяется под лицензией MIT. README не приводит подробностей о возможных ограничениях качества, безопасности или применимости в критически важных сценариях.

arcee-ai/DeepSeek-R1-bf16 — конверсия весов DeepSeek-R1 из исходного FP8 в BF16. DeepSeek-R1 разработана DeepSeek на базе DeepSeek-V3-Base; она использует обучение с подкреплением и этапы дообучения с учителем для развития навыков рассуждения. В репозитории указаны архитектура DeepSeek V3, 37,6 млрд параметров и контекст длиной до 163 840 токенов. Модель предназначена для генерации текста в диалоге, решения математических задач, программирования и многошаговых рассуждений. Карточка описывает саму DeepSeek-R1 как разреженную MoE-модель с 671 млрд параметров и 37 млрд активируемых параметров, однако метаданные этого репозитория классифицируют архитектуру как плотную и указывают 37,6 млрд параметров; характеристики оригинала не следует переносить на эту конверсию без оговорки. В метаданных также отмечен интерфейс вызова инструментов. В README не приведены сведения о лицензии и отдельных ограничениях для этой конверсии. Для запуска потребуется совместимая среда инференса с поддержкой BF16; пригодность модели зависит от доступной памяти и оборудования.

DeepSeek-R1-Distill-Llama-70B-GGUF — это квантизированная версия языковой модели DeepSeek-R1-Distill-Llama-70B, разработанной командой deepseek-ai и подготовленной в формате GGUF участником bartowski на основе llama.cpp. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio. Модель дистиллирована из reasoning-модели DeepSeek-R1 и настроена на задачи рассуждения и генерации цепочек рассуждений. Заявлена поддержка контекста до 128 000 токенов. В README не указаны точный вариант квантования, перечень поддерживаемых языков и дополнительные модальности, поэтому её следует рассматривать как текстовую модель. К сильным сторонам относятся большой размер 70B параметров, ориентация на сложное рассуждение и возможность использования квантизированной сборки в локальной инфраструктуре. Ограничения включают потенциально высокие требования к ресурсам, зависимость характеристик от выбранного уровня квантования и типичные для генеративных моделей риски неточных, вредных или неподходящих ответов. Лицензия в предоставленных данных не указана; условия использования следует уточнять в исходном репозитории модели.

unsloth/DeepSeek-R1-Distill-Qwen-32B-bnb-4bit — 4-битная квантованная версия модели DeepSeek-R1-Distill-Qwen-32B, опубликованная Unsloth на основе модели DeepSeek. Модель относится к семейству плотных языковых моделей, дистиллированных из DeepSeek-R1 и построенных на базе Qwen. Разработчики DeepSeek указывают, что эта версия предназначена для задач рассуждения и превосходит OpenAI o1-mini на ряде бенчмарков для плотных моделей. Модель ориентирована на решение сложных задач, включая математические рассуждения, программирование, пошаговый анализ и генерацию текста. В README заявлены способности, связанные с самопроверкой, рефлексией и построением длинных цепочек рассуждений. Указан размер 32B, библиотека Transformers и английский язык; сведения о поддерживаемых модальностях, размере контекста и точной архитектуре в предоставленных данных отсутствуют. Ключевое преимущество варианта — 4-битное представление, потенциально снижающее требования к памяти по сравнению с полноразмерными весами, однако README не содержит точных характеристик производительности или качества именно этой квантованной сборки. Возможными ограничениями являются зависимость результатов от качества квантования и отсутствие подтверждённых данных о контекстном окне и мультиязычности. Модель распространяется по лицензии Apache-2.0.

DeepSeek-R1-ReDistill-Qwen-1.5B-v1.0 — версия DeepSeek-R1-Distill-Qwen-1.5B, повторно дистиллированная Mobius Labs для повышения качества. Это плотная авторегрессионная языковая модель семейства Qwen2 с 1,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста и диалогового применения; исходная модель ориентирована на рассуждения и решение задач, включая математику и программирование. В карточке приведены сравнительные результаты на ARC, HellaSwag, MMLU, GPQA, MMLU PRO и MUSR, где версия ReDistill показывает улучшения относительно исходной на перечисленных тестах. Репозиторий содержит веса SafeTensors. Лицензия — MIT.

unsloth/DeepSeek-V3-bf16 — версия DeepSeek-V3 в формате BF16, размещённая Unsloth и предназначенная для генерации текста и диалогового использования. Согласно карточке модели, DeepSeek-V3 — языковая модель архитектуры Mixture-of-Experts с 671 млрд параметров, из которых около 37 млрд активируются на каждом токене; используются DeepSeekMoE и Multi-head Latent Attention. Метаданные этой версии указывают 37,6 млрд параметров, контекст до 163 840 токенов и поддержку интерфейса вызова инструментов. Модель подходит для диалогов, ответов на вопросы, написания и преобразования текста, а также сценариев с вызовом инструментов. В карточке заявлена поддержка английского языка. Репозиторий использует Transformers и формат safetensors; лицензия — MIT. Для запуска требуются значительные вычислительные ресурсы, характерные для крупной языковой модели.

Это 4-битная версия Dolphin 2.9.3 на базе Mistral Nemo, преобразованная mlx-community из cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b в формат MLX с помощью mlx-lm 0.16.1. Модель представляет собой плотную причинную языковую модель Mistral с 12,1 млрд параметров и предназначена для генерации текста в диалоговом формате; среди возможных сценариев — ответы на вопросы, помощь с кодом, математические задачи и вызов инструментов, на которые указывают обучающие наборы данных и возможности базовой Dolphin-модели. Модель дообучена на Mistral-Nemo-Base-2407, а данный репозиторий содержит её MLX-представление для запуска на устройствах Apple с MLX. Метаданные указывают контекст до 1 024 000 токенов и лицензию Apache-2.0. В README не описаны отдельные ограничения качества; применимость столь длинного контекста и заявленные сценарии зависят от конкретной конфигурации запуска.

Ghost 7B Alpha — языковая модель на 7,1 млрд параметров, разработанная Ghost X (Hieu Lam) и дообученная на основе Mistral 7B. Она предназначена для генерации текста, диалоговых помощников и задач, включая рассуждения, ответы на вопросы, написание документов, перевод и программирование. Модель поддерживает взаимодействие с инструментами через описанный в карточке формат ролей и имеет контекст до 32 768 токенов по метаданным; README указывает 8 192 токена. Основные языки модели — английский и вьетнамский. Репозиторий содержит веса в формате safetensors; в карточке также описаны варианты распространения BF16, GGUF и AWQ. Указана лицензия Ghost 7B License Agreement, а метаданные классифицируют лицензию как other. README отмечает склонность модели занимать эмоционально окрашенную позицию, в том числе в задачах рассуждения; перед использованием следует оценить качество ответов и условия лицензии.

GLM-4.5-Air-Derestricted — диалоговая модель Arli AI, полученная модификацией GLM-4.5-Air методом Norm-Preserving Biprojected Abliteration. Изменение направлено на удаление отказов при сохранении способности исходной модели к рассуждению. По карточке каталога модель имеет архитектуру GLM4 MoE, 8,5 млрд параметров и контекст до 131 072 токенов; поддерживает диалоговый режим и работает через Transformers. Модель предназначена для генерации ответов в диалоге, рассуждений, программирования и сценариев интеллектуальных агентов, унаследованных от GLM-4.5-Air. Автор заявляет, что метод модификации сохраняет нормы весов и качество рассуждений, однако это заявление не подтверждено приведёнными в карточке результатами оценки именно этой версии. Модель распространяется по лицензии MIT; базовая GLM-4.5-Air описана как гибридная модель с режимами рассуждений и работы с инструментами.