II.7DevOps, облако и эксплуатация IT-систем

arshvir/granite-embedding-311m-multilingual-r2-GGUF — конвертированная в формат GGUF модель эмбеддингов IBM Granite Embedding 311M Multilingual R2 на архитектуре ModernBERT. Репозиторий содержит веса в формате F16; модель насчитывает 311 млн параметров и поддерживает контекст до 32 768 токенов. Она преобразует текст в векторы размерностью 768, которые можно усекать до 512, 384, 256 или 128 измерений благодаря Matryoshka Representation Learning. Модель предназначена для многоязычного и межъязыкового семантического поиска, сравнения предложений и поиска по длинным документам, а также для поиска по коду. В README заявлена поддержка более 200 языков, с усиленным обучением на 52 языках и примерами языков программирования. Для загрузки GGUF предлагается использовать llama-cpp-python. По README, модель набрала 65,2 на 18 задачах многоязычного retrieval-бенчмарка MTEB; эти результаты приведены автором карточки. Репозиторий указывает лицензию Apache 2.0. Это преобразование исходной модели в GGUF F16, а не новая обученная версия; для использования нужна совместимая среда выполнения GGUF.

Hercules-Mini-1.8B — разговорная языковая модель, разработанная M4-ai на основе Qwen1.5-1.8B. Модель дообучена на 700 тысячах примеров Hercules-v4 и имеет плотную архитектуру Qwen2 с 1,5 млрд параметров; она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Модель предназначена для универсального ассистента: ответов на вопросы, математических задач, программирования, вызова функций и ролевых диалогов. В карточке указаны английский и, возможно, китайский языки; метаданные подтверждают английский. Лицензия обозначена в метаданных как other, а в README указана лицензия tongyi-qianwen. Известное ограничение — некорректно настроенный токен окончания последовательности: для предотвращения бесконечной генерации требуется самостоятельно задать критерий остановки. Оценка качества в карточке не приведена.

Hermes-3-Llama-3.1-8B-IMat-GGUF — квантизированная версия текстовой генеративной модели NousResearch/Hermes-3-Llama-3.1-8B, подготовленная legraphista в формате GGUF для llama.cpp. В основе лежит модель семейства Llama 3.1 с 8 млрд параметров; исходный тип данных — BF16. Указан английский язык, а назначение модели — генерация текста и диалоговое взаимодействие. Модель предназначена для чат-сценариев, следования инструкциям, ролевого общения, работы с ChatML, генерации структурированных ответов в JSON и function calling. Доступны варианты с разной степенью квантизации — от BF16 и FP16 до 1–8-битных форматов; часть низкобитных вариантов использует IMatrix для снижения потерь качества при уменьшении размера. Это позволяет запускать модель на более ограниченных по памяти системах, выбирая компромисс между качеством, скоростью и требованиями к ресурсам. В README не указаны размер контекстного окна, мультимодальные возможности, результаты бенчмарков и подробные ограничения качества, поэтому модель следует считать текстовой и ориентированной прежде всего на английский язык. Квантизация может приводить к снижению точности по сравнению с исходной BF16-моделью, особенно в наиболее компактных вариантах. Лицензия указана как Llama 3; условия её применения следует уточнять в лицензии исходной модели.

Jais-30b-chat-v3 — диалоговая языковая модель, разработанная Core42 (Inception) совместно с Cerebras Systems и дообученная на парах запросов и ответов на арабском и английском языках. Она предназначена для чат-ассистентов, клиентской поддержки, ответов на вопросы, генерации кода и рассуждений по тексту. Модель использует декодерную архитектуру Transformer, близкую к GPT-3, с активацией SwiGLU и позиционными представлениями ALiBi. README указывает контекст до 8192 токенов. Модель принимает текст и генерирует текст; для загрузки требуется пользовательский класс модели и параметр trust_remote_code=True. Модель оптимизирована для современного стандартного арабского и английского языков. Среди ограничений — возможные ошибки, предвзятость и неподходящие ответы; качество на других языках и диалектах не гарантируется. Не следует использовать её для высокорисковых решений без контроля человека или для работы с чувствительной информацией. Лицензия Apache 2.0.

K2-Horizon-MoVA-36B-A4B-GGUF — квантованная версия модели IFM/K2-Horizon-MoVA-36B-A4B, опубликованная abenzerps в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и поддерживает сценарии диалогов и вызова инструментов; доступен формат tool calling с вариантами xml, json и xml_typed. Это разреженная Mixture-of-Experts-модель с архитектурой Mixture-of-Values attention (MoVA): всего 36 млрд параметров, из которых примерно 4 млрд активируются для каждого токена. Исходная модель поддерживает контекст до 524 288 токенов (512K), а заявленный язык — английский. Модель текстовая и не требует vision projector. Доступны варианты квантования Q3_K_M, Q4_K_M, Q4_0, Q5_K_M, Q6_K и Q8_0 размером примерно от 17,66 до 39,83 ГБ. Ключевое преимущество модели — сочетание большого контекстного окна, разреженной MoE-архитектуры и нескольких вариантов квантования для выбора компромисса между качеством и требованиями к памяти. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, включая форк MBZUAI-IFM до появления поддержки в основной ветке. Лицензия исходной модели — Apache-2.0; фактическая производительность зависит от выбранной квантовки и доступной памяти.

Ling-3.0-flash REAP288 — экспериментальная версия разговорной гибридной MoE-модели Ling-3.0-flash, опубликованная bloomer010 на основе inclusionAI/Ling-3.0-flash. В ней оставлено 288 из 512 маршрутизируемых экспертов на слой; README указывает 73 млрд параметров всего и 5,1 млрд активных, тогда как метаданные каталога указывают 3,5 млрд параметров. Модель предназначена для генерации текста в диалоговом формате; базовая Ling-3.0-flash также позиционируется для программирования и многошаговых агентных задач. Эксперты отбирались методом REAP по оценке, учитывающей значение маршрутизатора и норму выхода на калибровочных данных объёмом 1 млн токенов. После удаления экспертов не проводились дообучение или восстановительное обучение. Модель работает с контекстом до 262 144 токенов, распространяется в BF16 Safetensors и использует архитектуру BailingMoeV3; для загрузки требуется trust_remote_code=True и пользовательский код bailing_hybrid. README называет модель исследовательским артефактом и экспериментальной REAP-версией. Лицензия в предоставленных данных не указана. Ключевое ограничение — эксперты удалены без последующего обучения для восстановления качества, поэтому характеристики базовой модели нельзя автоматически переносить на эту версию; приведённые в README и метаданных размеры параметров также расходятся.

LLaMA-2-7B-32K-Instruct_GGUF — это набор файлов модели в формате GGUF, подготовленный пользователем rozek на основе Llama-2-7B-32K-Instruct от Together Computer, Inc., которая, в свою очередь, создана на базе Meta AI LLaMA-2-7B. Исходная модель дообучена для работы с контекстом до 32 000 токенов с использованием Position Interpolation и Rotary Position Embeddings (RoPE). Модель предназначена для генерации текста и выполнения инструкций на английском языке, включая сценарии локального запуска через llama.cpp. Репозиторий содержит варианты с различной степенью квантования: Q2_K, Q3_K, Q4, Q5, Q6_K, Q8_0, а также неквантованный F16. Квантованные версии снижают требования к памяти и позволяют запускать модель локально, но могут уступать F16 по точности. Несмотря на поддержку контекста до 32K, использование максимальной длины требует значительного объёма RAM; рекомендуется выбирать минимальный необходимый размер контекста. Модель текстовая и имеет около 7 миллиардов параметров. В README указана лицензия llama2.

Lzlv 70B AWQ — 4-битная AWQ-квантизованная версия языковой модели Lzlv 70B, созданной A Guy на базе Llama 2. Квантизацию выполнил TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного инференса, включая диалоговые приложения, ответы на запросы и другие задачи обработки текста. Модель имеет архитектуру Llama, около 70 миллиардов параметров и поддерживает текстовую модальность. В опубликованной конфигурации используются 4-битные веса AWQ с групповым размером 128, последовательностью длиной до 4096 токенов и размером файлов около 36,61 ГБ. AWQ ориентирована на эффективный инференс с низким потреблением памяти; заявлена совместимость с Text Generation WebUI через AutoAWQ, vLLM, Hugging Face Text Generation Inference и AutoAWQ. Для взаимодействия предусмотрен шаблон запросов в формате Alpaca. К сильным сторонам относятся существенно уменьшенный размер по сравнению с исходной FP16-моделью и возможность быстрого инференса на совместимом GPU при сохранении качества, сопоставимого с распространёнными настройками GPTQ. Ограничения включают максимальную длину последовательности 4096 токенов, необходимость совместимого программного обеспечения и оборудования, а также возможные потери качества из-за квантизации. Модель заявлена под лицензией CC BY-NC 2.0; поскольку она основана на Llama 2, также применяются условия лицензии Meta Llama 2. Эти условия следует рассматривать как двойное лицензирование, а коммерческое использование требует отдельной проверки ограничений.

Это объединённая методом TIES через mergekit языковая модель семейства Llama 3.2, созданная из нескольких моделей на 3,2 млрд параметров. В качестве базовой при слиянии использовалась huihui-ai/Llama-3.2-3B-Instruct-abliterated; в объединение также вошли варианты для SQL, математики, программирования и диалогов без ограничений на отказы. Модель предназначена для генерации текста и диалоговых сценариев, включая помощь с SQL, математическими задачами и кодом. Она принимает текст и выдаёт текст; метаданные указывают контекст до 131 072 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Карточка не приводит результатов оценки качества или подробных инструкций по использованию. Условия лицензирования в предоставленных данных не указаны, поэтому их следует проверить в карточке модели и у исходных моделей до применения.

Meta-Llama-3-8B-Instruct-GGUF-old — это языковая модель для генерации текста и выполнения инструкций, представленная в формате GGUF. Модель основана на Meta Llama 3, разработанной Meta, а репозиторий и сборку данной версии связывает с идентификатором bartowski. По названию модели известно, что она содержит около 8 миллиардов параметров и настроена для диалогового взаимодействия и следования инструкциям. Модель предназначена для англоязычной генерации текста, ответов на запросы и других задач, поддерживаемых конвейером text-generation. Формат GGUF ориентирован на локальный запуск средствами, совместимыми с этим форматом, однако конкретные требования к памяти, варианты квантования и максимальный размер контекста в предоставленных данных не указаны. Модель является текстовой и не поддерживает мультимодальные входы по имеющейся информации. К сильным сторонам относятся компактный по современным меркам размер, специализация на инструкциях и возможность использования в локальных сценариях. Ограничениями являются заявленная языковая поддержка только английского, отсутствие сведений о конкретной версии квантования, контекстном окне, производительности и результатах оценки. Использование регулируется Meta Llama 3 Community License: лицензия требует соблюдения условий распространения, указания атрибуции, отображения фразы «Built with Meta Llama 3» при соответствующих сценариях и соблюдения Acceptable Use Policy.

MiniCPM5-2B-Claude-Fable5-heretic — языковая модель для генерации текста и агентских сценариев, созданная RACER IS OP на основе SauravMahalik/MiniCPM5-2B-Claude-Fable5. Родительская модель получена дообучением openbmb/MiniCPM5-2B на агентских трассах, дистиллированных из Claude Fable-5 и других передовых моделей, а затем в этой версии поведение отказов было подавлено методом Heretic v1.4.0 посредством направленного редактирования весов, без дополнительного дообучения. Модель предназначена для многошагового следования инструкциям, диалогов, вызова функций и инструментов, а также разработки локальных и автономных агентов. Она поддерживает английский и китайский языки, имеет архитектуру Llama и около 2,57 млрд параметров. Доступны версии Safetensors и GGUF различных уровней квантования, благодаря чему модель рассчитана на запуск на потребительских GPU, CPU, Apple Silicon и небольших устройствах через llama.cpp, Ollama, LM Studio или Jan. Размер контекста в README не указан. К сильным сторонам относятся компактный размер, сохранение заявленных способностей к использованию инструментов и агентскому диалогу, а также значительно сниженное количество отказов по сравнению с родительской моделью: 3 из 100 против 89 из 100 в приведённом авторами тесте. При этом модель является uncensored-вариантом без исходных защитных ограничителей, поэтому её ответы требуют дополнительной проверки и мер безопасности. Приведённые показатели основаны на тестах авторов и не являются независимой оценкой; влияние абляции и квантования на качество может различаться. Модель распространяется по лицензии Apache-2.0.

Это диалоговая языковая модель семейства Mistral, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и lvkaokao/mistral-7b-finetuned-orca-dpo-v2 методом SLERP с помощью MergeKit. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и рассчитана на генерацию текста и ответы на инструкции в формате диалога. Максимальная длина контекста — 32 768 токенов. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по запросу. Репозиторий содержит веса в формате safetensors; заявленная лицензия — Apache-2.0. Данные карточки не уточняют качество на отдельных задачах и языках, поэтому пригодность для конкретного сценария следует оценивать самостоятельно.

Mistral-7B-Instruct-v0.3-GGUF — квантизированная версия инструкционной модели Mistral-7B-Instruct-v0.3, разработанной mistralai и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для диалогового взаимодействия и запуска локальных сервисов генерации текста, включая сценарии с использованием инструментов через LlamaEdge. Модель имеет размер 7B параметров и поддерживает контекст до 32 000 токенов. В репозитории представлены варианты квантизации от Q2_K до Q8_0, а также f16; их размер составляет примерно от 2,72 до 14,5 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между размером и качеством, тогда как более агрессивная квантизация уменьшает требования к ресурсам, но может заметно ухудшать качество. Сведения о модальностях и поддерживаемых языках в README не указаны. Модель подходит для локального чата, генерации текста и интеграции в приложения через LlamaEdge с шаблонами Mistral Instruct и Mistral Tool. К ограничениям относятся компромиссы между размером файла и качеством, характерные для квантизированных версий, а также отсутствие в предоставленных данных результатов тестирования и подробностей об аппаратных требованиях. Распространяется по лицензии Apache-2.0.

OpenOrcaxOpenChat-Preview2-13B — языковая модель, разработанная OpenOrca совместно с OpenChat. Это плотная авторегрессионная модель семейства LLaMA 2 с 12,9 млрд параметров, дообученная на отфильтрованной выборке GPT-4-дополненного датасета OpenOrca с упаковкой диалогов в формате OpenChat. Модель предназначена для генерации текста и диалоговых ответов по инструкциям; в карточке сообщается о результатах примерно на уровне 103% от показателей Orca в среднем на BigBench-Hard и AGIEval. Модель принимает текст и генерирует текст. Карточка приводит шаблон многоходового диалога OpenChat; контекст составляет 4096 токенов. В метаданных указан английский язык. Модель распространяется в формате PyTorch по лицензии Llama 2. Это предварительная версия; заявленные результаты относятся к оценкам авторов, а карточка не описывает ограничения по качеству подробнее.

Orion-14B-Chat — диалоговая языковая модель компании OrionStarAI, дообученная для интерактивного общения на основе Orion-14B, обученной с нуля на многоязычном корпусе объёмом 2,5 трлн токенов. Модель имеет плотную архитектуру OrionForCausalLM и 14,1 млрд параметров; её основной сценарий — генерация ответов в диалоге, также заявлена поддержка задач с кодом. Модель рассчитана на общение на китайском, английском, японском и корейском языках. Длина контекста этой версии — 4096 токенов. В репозитории представлены форматы PyTorch и GGUF. Для развёртывания можно использовать Transformers, vLLM или llama.cpp. Карточка описывает её как модель, дообученную на высококачественном корпусе для интерактивного взаимодействия. Лицензия в предоставленных данных не указана, поэтому условия использования по ним установить нельзя.

Orion T2 Mini SFT — экспериментальный диалоговый ассистент Project Prism на архитектуре Orion T2, опубликованный Refract Labs. Это плотная причинно-языковая модель примерно на 219 млн параметров, дообученная методом SFT на 700 тысячах примеров: 60% общих и диалоговых, 20% математических и 20% связанных с программированием. Модель предназначена для генерации ответов, следования инструкциям, общения, решения математических задач и помощи с кодом. Для диалога используется встроенный шаблон чата Transformers с текстовыми маркерами ролей. В текущем слое совместимости Transformers кэширование отключено, поэтому при генерации каждого токена префикс вычисляется заново. Модель экспериментальная; заявленные архитектурные особенности следует оценивать на сопоставимых тестах. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

win10/phi-3.5-Sakura-Yuzu — объединённая языковая модель, созданная автором репозитория методом TIES с помощью mergekit на основе Microsoft Phi-3.5-mini-instruct. В слияние также вошли win10/Phi-3.5-mini-instruct-24-9-29, FreedomIntelligence/Apollo2-3.8B, ArliAI/Phi-3.5-mini-3.8B-ArliAI-RPMax-v1.1 и AXCXEPT/Borea-Phi-3.5-mini-Instruct-Common. Модель семейства Phi-3 — плотная авторегрессионная языковая модель примерно на 3,7 млрд параметров. Она предназначена для диалогов и генерации текста; каталог указывает поддержку чата. Репозиторий использует формат safetensors, библиотеку Transformers и контекст длиной 4096 токенов. Базовая модель описана как многоязычная и рассчитанная на инструкции, рассуждения и код, однако сведения о конкретных языках и специализированной адаптации этого слияния не приведены. Лицензия в предоставленных данных не указана.

RedHatAI/Phi-3-medium-128k-instruct-quantized.w4a16 — это квантизированная версия инструкционной языковой модели Phi-3-medium-128k-instruct, разработанная Neural Magic на базе модели Microsoft. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычных ассистентских диалогов, чат-ботов и задач генерации ответов, а также для коммерческого и исследовательского использования. Модель использует архитектуру Phi-3 и поддерживает контекст размером до 128 тысяч токенов. Веса линейных операторов в трансформерных блоках квантизированы в формат INT4 по схеме W4A16 с симметричной групповой квантизацией и размером группы 128; для квантизации применён GPTQ через библиотеку llm-compressor. Оптимизация сокращает объём хранения и требования к GPU-памяти примерно на 25% по сравнению с 16-битной версией. Указанный результат на OpenLLM Leaderboard v1 составляет 72,38 против 74,46 у неквантизированной модели. К сильным сторонам относятся большой контекст и сниженные требования к памяти, что упрощает эффективное развёртывание через vLLM или Transformers. Ограничения включают специализацию на английском языке, возможное снижение качества из-за квантизации и недопустимость использования в языках, отличных от английского, согласно README. В README указана лицензия MIT, однако в метаданных также присутствует обозначение llama2; перед использованием следует проверить применимые лицензионные условия.

Phi-mini-MoE — компактная языковая модель Microsoft для генерации текста и диалогового взаимодействия. Это decoder-only Transformer с архитектурой Mixture of Experts: в README указаны 7,6 млрд параметров всего и 2,4 млрд активных, тогда как метаданные каталога указывают 1,9 млрд параметров; поэтому размер модели в источниках расходится. Модель сжата и дистиллирована из общей базовой модели Phi-3.5-MoE и GRIN-MoE методом SlimMoE, затем дообучена на следование инструкциям и предпочтениям пользователей. Модель предназначена прежде всего для англоязычных общих ассистентов и сценариев с ограничениями по памяти, вычислениям или задержке. Она принимает текстовые запросы в формате чата и генерирует текст; контекст — до 4 тысяч токенов. Обучение охватывало математику, программирование, здравый смысл и общие знания, но карточка не заявляет отдельной специализированной области. Основной язык — английский; другие языки поддерживаются хуже. Модель может ошибаться, выдумывать факты, воспроизводить предубеждения или выдавать оскорбительный контент, поэтому ответы требуют проверки, особенно в чувствительных сценариях. Данные публичных источников имеют срез по октябрь 2023 года. Лицензия — MIT.

MaziyarPanahi/pic_7B_mistral_Full_v0.2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral с 7,1 млрд параметров. Она создана методом Slerp из mistralai/Mistral-7B-Instruct-v0.1 и TokenBender/pic_7B_mistral_Full_v0.2; в конфигурации указан формат bfloat16, а файлы репозитория представлены в safetensors. Модель предназначена для генерации текста и ответов на инструкции и диалоговые запросы. Её контекстное окно составляет 32 768 токенов. Карточка не сообщает о специализированной предметной области или отдельных языковых возможностях. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-NVFP4 — это квантизированная версия инструкционной языковой модели Qwen/Qwen3-4B-Instruct-2507, опубликованная под идентификатором llmat/Qwen3-4B-Instruct-2507-NVFP4. Квантизация выполнена с помощью llmcompressor по схеме NVFP4: она применяется к линейным слоям, а слой lm_head исключён. Для калибровки использовано 512 образцов, максимальная длина последовательности при калибровке составляла 2048 токенов. Модель предназначена для генерации текста и диалоговых сценариев с применением инструкций, включая развёртывание через backend vLLM и OpenAI-совместимый сервер. В README не указаны точные поддерживаемые языки, максимальная длина контекста исходной модели, модальности или архитектурные детали помимо квантизации и принадлежности к семейству Qwen. Основное преимущество — потенциально более эффективное по ресурсам выполнение благодаря NVFP4-квантизации; возможным ограничением является влияние квантизации на качество, однако количественные результаты оценки не приведены. Модель распространяется по лицензии Apache-2.0.

KridgeDookie выпустил PHILADELPHIA CLASS — дообученную мультимодальную модель на 27,36 млрд параметров на базе Qwen/Qwen3.6-27B. Она сохраняет гибридную архитектуру обработки текста и изображений и предназначена для общения, программирования, творческих задач и экспериментов с мультимодальными сценариями. Версия Safetensors включает обработку изображений; вариант GGUF в BF16 предназначен только для генерации текста. Разработчик сообщает о снижении склонности к отказам: модель не отказала ни на одном из 842 внутренних проверочных запросов и на отдельной выборке из 126 запросов; 23 из 24 проверок связности пройдены. Это внутренние автоматизированные оценки, а не независимые или стандартизированные тесты, и они не подтверждают фактическую точность или безопасность модели. Контекст настроен на 262 144 токена, но доступность полного окна зависит от оборудования. Сниженная склонность к отказам может приводить к вредным, вводящим в заблуждение, предвзятым или незаконным ответам. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем jaromer и предназначенный для запуска через llama.cpp. Модель ориентирована на генерацию текста, диалоги и другие задачи обработки текста; доступны также варианты с поддержкой изображений, если это поддерживается базовой моделью. Уровень отказов существенно снижен с помощью метода abliteration на базе Heretic, однако полностью не устранён. Дополнительное обучение и новые обучающие данные не использовались. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, контекст до 262 144 токенов, один MTP-слой и поддержку vision. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,6 до 29 ГБ. Варианты с сохранённой MTP-головой поддерживают speculative decoding; также предлагаются отдельные target- и draft-файлы. Заявленные языки — английский и китайский. Сильными сторонами являются большой контекст, широкий выбор квантизаций, поддержка MTP и близкие к f16 показатели perplexity у большинства вариантов; IQ2_M заметно уступает остальным по этому измерению. Perplexity не оценивает качество рассуждений, программирования, мультиязычности или поведения отказов. Модель распространяется по лицензии Apache-2.0.

SDLM-3B-D8 — диффузионная языковая модель семейства SDLM, разработанная OpenGVLab на основе Qwen2.5-3B. Это дообученная модель с плотной архитектурой Qwen2, примерно 3,1 млрд параметров и контекстом до 32 768 токенов; она доступна в формате Safetensors и рассчитана на генерацию текста и диалоговое использование на английском языке. Модель применяет последовательное блочное маскирование и декодирование по самому длинному уверенному префиксу, чтобы предсказывать несколько токенов за шаг. В отчёте авторов заявлены примерно двукратное ускорение относительно сопоставимых авторегрессионных моделей при близком качестве и до пятикратного ускорения относительно других диффузионных языковых моделей; скорость можно настраивать порогом уверенности. Обучение включает математические, кодовые, научные, табличные и общие диалоговые данные, что делает модель пригодной для генерации ответов, решения задач и написания кода. Лицензия — Apache-2.0.

SmolLM3-3B-MOPD-Top64-DR-NoThinking-500 — это исследовательский чекпойнт языковой модели SmolLM3, подготовленный Huangsssz на основе BytedTsinghua-SIA/Open-MOPD-SmolLM3-3B-MixSFT. Модель содержит 3,1 млрд параметров, использует плотную архитектуру SmolLM3ForCausalLM и принимает текстовые запросы для генерации текста; заявленная длина контекста — 65 536 токенов. Чекпойнт получен после 500 шагов дообучения методом дистилляции с пересечением наборов наиболее вероятных 64 токенов студента и учителей. Учителя специализировались на математике, коде и следовании инструкциям; генерация и оценивание выполнялись с отключённым режимом рассуждений. Для запуска автор рекомендует явно передавать enable_thinking=False. В README приведены результаты отдельных фиксированных оцениваний по математике, программированию и следованию инструкциям; они не доказывают устойчивого улучшения. Модель ориентирована на исследовательские эксперименты и генерацию ответов общего назначения, особенно в математике, программировании и выполнении инструкций. Это полный экспорт весов BF16 для Hugging Face Transformers с токенизатором и исходным шаблоном чата. Репозиторий указывает лицензию Apache-2.0. Чекпойнт является ранней исследовательской версией после ограниченного числа шагов; опубликованные оценки имеют фиксированный протокол и ограниченную статистическую надёжность.

Youssofal/Ternary-Bonsai-2-27B-MTPLX-Optimized-Speed — сборка модели Prism ML Ternary Bonsai 2 27B для ускоренного запуска через MTPLX на компьютерах Mac с Apple Silicon. В её основе лежит Qwen/Qwen3.8-27B, объединённая с prism-ml/Ternary-Bonsai-2-27B-mlx-2bit. Это плотная мультимодальная модель с поддержкой диалога, анализа изображений и интерфейса вызова инструментов. Весовые коэффициенты языковой части представлены значениями −1, 0 и +1 с масштабированием по группам; пакет для MTPLX занимает 8,85 ГБ и включает зрительную башню Qwen 3.8 27B. MTPLX использует специализированные GPU-ядра и многотокенное спекулятивное декодирование. В README приведены замеры на M5 Max: 64,4 токена/с при запросе на 4 061 токен и 57,1 токена/с при 16 350 токенах; заявлена работа на Mac с объединённой памятью от 16 ГБ. Модель рассчитана на локальные диалоги, анализ изображений, программирование и работу через агентские клиенты, поддерживающие инструменты. README указывает лицензию Apache-2.0. Для запуска требуется MTPLX версии 2.12.0 или новее; для агентских клиентов рекомендуется Mac с памятью от 18 ГБ. Приведённые скорости относятся к конкретной конфигурации M5 Max и не гарантируют такую же производительность на других устройствах.

XGen-7B-8K-Inst — языковая модель Salesforce AI Research с плотной архитектурой LlamaForCausalLM и примерно 6,7 млрд параметров. Она создана как версия XGen-7B-8K-Base, дообученная на общедоступных инструкционных данных; контекст составляет до 8192 токенов. Модель предназначена для генерации текста по инструкциям: например, для ответов на вопросы, выполнения текстовых запросов и диалоговых сценариев. В карточке указано, что релиз предназначен для исследовательских целей; данных о поддерживаемых естественных языках нет. Модель распространяется в формате PyTorch. Авторы предупреждают, что её не оценивали для всех прикладных сценариев, поэтому перед применением следует проверять точность, безопасность и справедливость ответов, особенно в задачах высокого риска. Лицензия для этой инструкционной версии в карточке не указана; Apache-2.0 отмечена для базовых моделей XGen-7B-4K-Base и XGen-7B-8K-Base.

ZAYA1-reasoning-base — плотная по архитектуре MoE-языковая модель Zyphra, основанная на Zyphra/ZAYA1-base и дополнительно обученная на 1 трлн токенов с упором на рассуждения. Она предназначена для генерации текста и диалогов, особенно для сложных задач по математике, STEM и программированию, требующих многошагового анализа. Модель содержит 7,7 млрд параметров по метаданным, использует архитектуру ZayaForCausalLM, токенизатор Gemma 3 и контекст до 32 768 токенов. В архитектуре применены механизм внимания Compressed Convolutional Attention, нелинейный маршрутизатор экспертов и обучаемое масштабирование остаточных связей. Модель демонстрирует сильные результаты на сложных математических и кодовых задачах, но README отмечает, что полного RL-постобучения она не проходила. Для запуска требуется форк Transformers с поддержкой Zaya. Лицензия — Apache-2.0.

Карточка модели qihoo360/360Zhinao-7B-Chat-32K на Hugging Face совпадает с карточкой qihoo360/360Zhinao-7B-Base, поэтому описание составлено по ней. 360Zhinao-7B-Base — базовая авторегрессионная языковая модель семейства 360Zhinao, разработанная командой 360 (Qihoo 360). Модель содержит 7,1 млрд параметров и обучена на корпусе объёмом 3,4 трлн токенов, преимущественно на китайском и английском языках, а также на коде. Это базовая, а не чат-версия; для диалогового применения в серии отдельно выпущены модели Chat. Модель предназначена для генерации текста и служит основой для задач понимания языка, работы со знаниями, математики, логических рассуждений и генерации кода. Она поддерживает контекст до 4096 токенов, построена на архитектуре ZhinaoForCausalLM и распространяется в формате safetensors для Transformers. README сообщает о сравнительной оценке базовой модели на наборах OpenCompass, включая C-Eval, MMLU, GSM8K и HumanEval. Лицензия — Apache-2.0. Как базовая языковая модель, она не настроена специально для следования инструкциям или ведения диалога; качество ответов зависит от промпта и сценария применения.

airoboros-13b-gpt4-1.2 — это чат-модель на архитектуре LLaMA с 12,9 млрд параметров, дообученная Jon Durbin методом QLoRA на синтетических инструкционных данных, созданных GPT-4. Она предназначена для генерации ответов на запросы пользователя и охватывает программирование, математику и рассуждения, викторины, ролевые диалоги, задания с выбором ответа и заполнением пропусков, а также вопросы по заданному контексту. Модель использует шаблон диалога в стиле Vicuna. Для запросов на код поддерживает инструкцию PLAINFORMAT, которая просит выдавать код без оформления Markdown, хотя автор отмечает, что это срабатывает не всегда. Контекст составляет 2048 токенов; веса доступны в формате PyTorch. Модель выпущена в июне 2023 года и распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и запрещающей коммерческое применение. Качество ответов и следование инструкциям могут быть непостоянными; сведения о поддерживаемых естественных языках в карточке не приведены.