II.2Создание и понимание программного кода

Qwen3.8-27B-GPTQ-INT4-FP8KV — квантованная версия мультимодальной модели Qwen3.8-27B, опубликованная пользователем abhishekchohan на базе Qwen/Qwen3.8-27B. Модель предназначена для диалогов, рассуждений, решения математических и научных задач, программирования, следования инструкциям, работы с длинным контекстом и анализа изображений. Поддерживаемые языки в README не указаны. Используется 4-битное GPTQ-квантование весов в формате W4A16 с асимметричными группами размера 32, а также FP8 E4M3 KV-кэш с откалиброванными масштабами. Размер модели — 27B параметров; текстовая часть включает 64 гибридных слоя attention и DeltaNet, а визуальная часть основана на замороженном ViT-энкодере. Сохраняется нативный контекст до 262 144 токенов, с расширением YaRN до 524 288 токенов на GPU с 48 ГБ и до 1 млн токенов на 96 ГБ, однако поиск за пределами 262 144 токенов не валидировался. Контрольная точка занимает около 20 ГБ и рассчитана на запуск через vLLM, включая speculative decoding. Главные преимущества — существенно сниженное потребление памяти, возможность обслуживания нативного длинного контекста на одной 48-ГБ GPU и результаты бенчмарков, сопоставимые с BF16-версией: средний показатель на заявленном наборе тестов составил 70,29 против 70,04 у базовой модели, а извлечение информации из контекста прошло без деградации на 262 144 токенах. Ограничения включают возможную зависимость результатов генерации от GPU и конфигурации, а также неизбежные риски квантования; отдельные тесты показали небольшое снижение качества. Модель распространяется по лицензии Apache-2.0.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality-FP16 — сборка модели Qwen3.8-27B, подготовленная Youssofal для запуска через MTPLX на компьютерах Mac с Apple Silicon. Это текстовая генеративная модель для локального использования, включая программирование, работу с кодом, текстами, JSON и многоязычными запросами. Модель распространяется в формате MLX и оптимизирована для чипов Apple M1 и M2; для более новых Mac рекомендуется родственная сборка с bf16. Модель имеет размер 27B параметров, использует динамическое 8-битное квантование, а оставшиеся плавающие параметры хранятся в FP16. Она поддерживает контекст до 262 144 токенов и многоступенчатое предсказание с глубиной MTP 3. MTPLX применяет спекулятивное декодирование с точным сохранением распределения генерации; заявлено ускорение в два-три раза по сравнению с обычным декодированием. Для работы требуется Mac с Apple Silicon и не менее 32 ГБ объединённой памяти, а для этой сборки рекомендуется от 36 ГБ. Размер загрузки — 29,4 ГБ. Сильными сторонами являются высокое совпадение с исходной моделью Qwen3.8-27B в тестах качества, оптимизация для локального запуска на Mac и поддержка длинного контекста. Ограничения включают привязку к экосистеме Apple Silicon, высокие требования к памяти и отсутствие опубликованных замеров скорости именно на M1 и M2. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4 — это квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen. Квантизацию выполнила A2Genesis с использованием NVIDIA TensorRT Model Optimizer 0.45 и рецепта для семейства qwen3_5. Модель предназначена для генерации текста, рассуждений, программирования, работы с инструментами и сценариев image-text-to-text, включая обработку изображений при наличии соответствующей инфраструктуры. Модель использует смешанную точность: проекции MLP и lm_head представлены в NVFP4 с форматом W4A16, проекции внимания — в FP8, KV-кэш — в FP8, а vision tower, MTP head и отдельные свёрточные и gating-слои сохранены в BF16. Размер контрольной точки составляет около 21 ГБ вместо примерно 55 ГБ у BF16-версии. Доступен контекст до 262144 токенов при обслуживании через vLLM, а сохранение MTP-тензоров позволяет применять speculative decoding. Языки в README не указаны. Сильные стороны модели — существенно меньший размер, поддержка высокопроизводительного инференса на GPU Blackwell, совместимость с vLLM, инструментальными вызовами и сохранение мультимодальных компонентов. Ограничения связаны с потерями и возможными особенностями качества, характерными для посттренировочной квантизации; на видеокартах более ранних архитектур NVFP4 загружается через поддержку ModelOpt, но преимущества производительности могут быть ниже. Это общественная квантизация от A2Genesis, не связанная с официальной поддержкой Qwen или NVIDIA. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели Qwen3.8-27B.

Это версия Qwen3-8B, подготовленная Geoff Munn в формате GGUF для запуска через llama.cpp и совместимые приложения. Модель содержит 8 млрд параметров и предназначена для генерации текста, диалогов, рассуждений, работы с кодом и многоязычных задач. В карточке описаны варианты GGUF-квантизации и результаты сравнения их размера, скорости и качества; для этой версии указаны форматы GGUF и GGUF F16. Модель подходит для локальных ассистентов, суммаризации документов, структурированной генерации и автономных RAG-систем. В README отмечены высокая эффективность некоторых вариантов с imatrix и компромиссы между точностью, скоростью и объёмом памяти. Заявления о производительности зависят от конкретного варианта квантизации и оборудования. Лицензия — Apache-2.0.

Карточка модели Mahesh111000/qwen3-8b-hanabi-rl-base-1to1-24k-step_185 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Qwen3-Next-80B-A3B-Instruct-REAM — сжатая версия диалоговой модели Qwen3-Next-80B-A3B-Instruct, созданная методом REAM, описанным в статье об объединении экспертов для улучшения их прореживания. Разработчик уменьшил число экспертов в слоях MoE с 512 до 384; по README, объём модели сократился с 80 до 60 млрд параметров, а требования к хранению и памяти GPU — примерно на 25%. Метаданные указывают архитектуру MoE семейства Qwen3-Next и 2,3 млрд параметров, что расходится с числом в README. Модель предназначена для диалогов и генерации текста, в том числе для задач с длинным контекстом до 262 144 токенов; метаданные также отмечают интерфейс вызова инструментов. README сообщает о сохранении не менее 95% исходного качества на ряде тестов: опубликованные результаты охватывают следование инструкциям, математику, общие знания и программирование. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Это доработка Qwen/Qwen3-Next-80B-A3B-Instruct методом сжатия экспертов; README также описывает версию v2 с изменённым составом данных сжатия, настройкой групп экспертов и сжатием слоя MTP. Лицензия — Apache-2.0. Число параметров в метаданных противоречит README, а приведённые результаты относятся к конкретным тестам и не гарантируют качество во всех сценариях.

Qwen-SEA-LION-v4.5-27B-IT-FP8-Dynamic — динамически квантованная версия модели Qwen-SEA-LION-v4.5-27B-IT. Базовая модель разработана AI Products Pillar организации AI Singapore, а квантование выполнил toeniant с использованием llmcompressor и схемы FP8_DYNAMIC. Модель предназначена для мультиязычного понимания и генерации текста, рассуждений, программирования, агентских сценариев, работы с репозиториями и визуально-текстовых задач. Модель содержит около 27 млрд параметров и построена на плотной архитектуре Qwen3.6-27B с гибридным дизайном Linear Attention и Full Attention. Она оснащена vision encoder и поддерживает единое мультимодальное взаимодействие с текстом и изображениями. Контекстное окно составляет 262 тысячи токенов. Поддерживаются английский, бирманский, индонезийский, филиппинский, малайский, тамильский, тайский и вьетнамский языки. Квантирование per-tensor dynamic FP8 в формате w8a8 уменьшает размер примерно с 54,5 до 29,5 ГБ, при этом, согласно README, практически не снижает точность относительно BF16; для инференса рекомендуется vLLM версии 0.7 или выше с включённым FP8. К сильным сторонам относятся большой контекст, мультиязычная и мультимодальная обработка, настраиваемые режимы рассуждения и высокая эффективность по памяти благодаря FP8. Ограничения включают отсутствие специального safety-alignment, риск галлюцинаций и нерелевантных ответов; результаты необходимо проверять, а безопасность дополнительно настраивать самостоятельно. Модель распространяется по лицензии MIT.

Карточка модели TreezzZ/r2s-scienceworld-qwen3-8b-student на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Radiantloom Llama 70B Instruct — большая языковая модель Radiantloom AI на архитектуре Llama с 68,7 млрд параметров. Это дообученная модель для генерации текста и диалогов; в карточке указаны формат safetensors и лицензия Llama 2. Модель предназначена для чата, написания и суммаризации текстов, ответов на вопросы, программирования, ролевых сценариев и работы в RAG-системах. README отмечает генерацию развернутых ответов и поддержку многоходовых диалогов. Длина контекста — 32 764 токена. Для диалогов рекомендуется шаблон ChatML, хотя пример в карточке показывает другой формат. По заявлению разработчика, модель показывает хорошие результаты в письме, коде и рассуждениях, однако оценка пока предварительная и основана на LLM-as-a-Judge. Ответы могут содержать фактические ошибки, предвзятый или оскорбительный контент, включая материалы NSFW; перед применением в пользовательских системах нужна проверка безопасности.

Radiantloom Mixtral 8X7B Fusion — языковая модель компании Radiantloom AI на архитектуре Mixtral с Mixture of Experts. README указывает около 47 млрд параметров, а метаданные — 7,1 млрд; контекст в метаданных составляет 32 768 токенов. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и использует шаблон запросов с токенами [INST] и [/INST]. Модель предназначена для генерации текста, творческого письма, многошагового диалога, суммаризации, ответов на вопросы, программирования и сценариев RAG. В README отмечены развёрнутые ответы и сильные результаты в задачах письма; приведены начальные оценки на бенчмарках, но они не заменяют независимую проверку. Модель не проходила настройку на безопасность и может выдавать токсичный, предвзятый, NSFW или фактически неверный контент. Для предоставления пользователям рекомендуется добавить собственный слой выравнивания и провести проверки безопасности. Метаданные указывают лицензию Apache-2.0. README сообщает длину контекста 4096 токенов, что расходится с метаданными; здесь приведено значение метаданных.

AIArchiveInfo/Seed-OSS-36B-Instruct — побитовая архивная копия модели Seed-OSS-36B-Instruct, разработанной командой ByteDance Seed. Согласно карточке, веса скопированы без обучения и изменений; модель предназначена для диалогов, рассуждений, задач общего назначения и сценариев с использованием инструментов. Это плотная причинная языковая модель семейства Seed-OSS с архитектурой RoPE, GQA, RMSNorm и SwiGLU. В метаданных указано 31,7 млрд параметров и контекст до 524 288 токенов; README округляет размер семейства до 36 млрд. Модель оптимизирована для международного применения, поддерживает управление бюджетом рассуждений и рассчитана на длинный контекст. Лицензия — Apache-2.0.

Seed-OSS-36B-Instruct — диалоговая плотная языковая модель команды ByteDance Seed. Репозиторий unsloth содержит производную версию модели ByteDance-Seed/Seed-OSS-36B-Instruct; архитектура использует причинную генерацию, RoPE, GQA, RMSNorm и SwiGLU. Метаданные указывают 31,7 млрд параметров и контекст до 524 288 токенов. Модель предназначена для диалогов, генерации текста, рассуждений и агентных сценариев с вызовом инструментов. Можно задавать бюджет рассуждений, чтобы управлять длиной внутреннего анализа и расходом вычислений. В README заявлена оптимизация для международных сценариев, но конкретный перечень поддерживаемых языков не приведён. Модель распространяется по лицензии Apache-2.0. Для инференса в README описаны Transformers и vLLM; рекомендуется температура 1,1 и top_p 0,95. Качество ответов зависит от задачи и настроек генерации, а использование длинного контекста увеличивает вычислительные затраты.

Spark-X2.5-4B — компактная универсальная языковая модель семейства Spark-X2.5, опубликованная пользователем qikuanz на базе XHToken/Spark-X2.5-4B-Base. Модель предназначена для диалогов, генерации и редактирования текста, перевода, рассуждений, программирования, использования инструментов и агентских сценариев. Она ориентирована на локальное и эффективное развертывание, включая работу через llama.cpp, vLLM, SGLang, MLX, Ollama и LM Studio. Модель содержит около 4 млрд параметров и использует гибридную архитектуру внимания: один слой полного внимания сочетается с тремя слоями внимания со скользящим окном. Заявлена нативная поддержка контекста до 1 048 576 токенов и более 200 языков. В репозитории доступны GGUF-квантизации Q4_0, Q4_K_M и Q8_0, подходящие для запуска на совместимом оборудовании; также заявлена интеграция с агентскими инструментами и широкая аппаратная совместимость. Сильными сторонами модели являются небольшие размеры, поддержка очень длинного контекста, многоязычность, задачи программирования и агентские рабочие процессы, а также наличие нескольких вариантов квантизации. Ограничения связаны с зависимостью фактического потребления памяти и доступного контекста от используемого runtime и оборудования: сами GGUF-файлы не гарантируют совместимость с NPU, ONNX или конкретными библиотеками. Модель и добавленные GGUF-файлы распространяются по лицензии Apache-2.0.

Gille/StrangeMerges_13-7B-slerp — слитая модель генерации текста, созданная с помощью LazyMergekit из Gille/StrangeMerges_12-7B-slerp и uukuguy/speechless-zephyr-code-functionary-7b. Она основана на плотной архитектуре Mistral с 7,1 млрд параметров и рассчитана на генерацию текста и диалоговые задачи с контекстом до 32 768 токенов. Слияние выполнено методом SLERP с настройками для слоёв внимания и MLP. Модель подходит для диалоговых приложений и генерации текста, включая сценарии с кодом и вызовом функций, на которые указывает один из исходных чекпойнтов. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0.

Ternary-Bonsai-2-27B-mlx-2bit — производная от Qwen/Qwen3.8-27B модель Prism ML для генерации текста, диалогов и рассуждений. Это плотная гибридная трансформерная архитектура с 27,36 млрд параметров: языковая часть использует линейное и полное внимание, SwiGLU, RoPE и RMSNorm; в комплект также входит башня зрения. Весы языковой модели представлены значениями −1, 0 и +1 с групповым масштабированием и вращением Адамара, тогда как башня зрения не квантизирована. Репозиторий весит 8,60 ГБ и предназначен для запуска через MLX на устройствах Apple, включая локальные сценарии без сети; заявленная длина контекста — 262 тысячи токенов. Модель рассчитана на локальных диалоговых и агентных помощников, анализ длинных документов и репозиториев кода, математические рассуждения и вызов инструментов. Разработчик сообщает о сохранении 98,2% среднего результата FP16 на 14 тестах и скорости около 47 токенов в секунду на ноутбуке с Apple M5 Max; показатели производительности зависят от оборудования и runtime. Основное ограничение — небольшая потеря качества по сравнению с полной точностью, а низкобитные ядра могут работать медленнее на некоторых GPU. Лицензия — Apache-2.0.

Tess-2.0-Llama-3-8B — универсальная языковая модель с диалоговой настройкой, разработанная в серии Tess; вычислительные ресурсы для обучения предоставила KindoAI. Модель дообучена на базе meta-llama/Meta-Llama-3-8B и содержит около 7,5 млрд параметров. Она использует архитектуру LlamaForCausalLM, формат весов safetensors и шаблон диалога Llama 3 с контекстом до 8192 токенов. Модель предназначена для общения с пользователем, выполнения инструкций, генерации текста и помощи с задачами по программированию и общего назначения. Для настройки использовали около 100 тысяч примеров кода и общих задач из набора Tess-2.0; обучение длилось одну эпоху с низкой скоростью обучения, чтобы сохранить разнообразие ответов. Модель описана как малоограниченная и часто следующая инструкциям. Лицензия — Llama 3. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или другой неподходящий контент; важные сведения следует проверять.

Tess-2.0-Mixtral-8x22B — универсальная языковая модель серии Tess, разработанная migtissera и дообученная на базе mistral-community/Mixtral-8x22B-v0.1. Это разреженная модель класса MoE с архитектурой Mixtral; в метаданных указано 22B параметров и контекстное окно до 65 536 токенов. Репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и выполнения инструкций в общих сценариях, включая задачи с кодом. Для диалога в карточке приведён формат с ролями SYSTEM, USER и ASSISTANT. Дообучение выполнено в течение одной эпохи на наборе Tess-2.0 примерно из 25 тысяч высококачественных примеров общего назначения и кода, с подходом, основанным на принципах LIMA. Модель описана как мало ограничивающая генерацию; разработчик предупреждает, что она может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или неподходящий контент. Лицензия — Apache-2.0.

Это GGUF-сборка Qwen3.8 27B, подготовленная zhangrover для локального запуска на компьютерах с ограниченной видеопамятью. В основе лежит unsloth/Qwen3.8-27B-GGUF; веса подвергнуты смешанной квантизации KQV-Q4 + IQ3 Floor, а полный MTP-блок из 15 тензоров сохранён в файле размером около 10,13 ГиБ. Модель предназначена для диалогов и генерации текста, включая рассуждения и программирование. По заявлению автора, на видеокарте с 16 ГБ памяти при кэше KV Q4 помещается контекст свыше 130 тысяч токенов. В полной точности ключевые K/Q/V-блоки оставлены на уровне Q4_K, нормализации — F32, а значительная часть FFN-контуров снижена до IQ3_XXS; MTP позволяет использовать спекулятивное декодирование в llama.cpp. Сборка рассчитана на запуск через llama.cpp; производительность и качество зависят от оборудования, настроек квантизации и совместимости используемой версии. Автор указывает, что модель предоставляется без гарантий. Лицензия — Apache-2.0.

XVERSE-13B-Chat — диалоговая версия языковой модели XVERSE-13B, разработанной компанией Shenzhen Yuanxiang Technology. Это плотная авторегрессионная модель с архитектурой Decoder-only Transformer и 13,2 млрд параметров, предназначенная для генерации ответов и ведения многоходовых бесед. Она поддерживает контекст до 8192 токенов. Модель подходит для вопросов и ответов, суммаризации, рассуждений и помощи с программированием. В README заявлена поддержка более 40 языков, включая китайский, английский, русский и испанский; особенно сильные результаты разработчик отмечает для китайского и английского. Модель использует токенизатор BPE с размером словаря 100 534 токена. Модель может выдавать неточные, предвзятые или оскорбительные ответы, поэтому результаты следует проверять, а перед внедрением проводить тестирование безопасности для конкретного сценария. Лицензия Apache-2.0.

Yi-1.5-34B — базовая языковая модель компании 01.AI, построенная на плотной архитектуре семейства Llama. В репозитории представлена версия примерно на 33,9 млрд параметров в формате Safetensors; метаданные указывают контекст 4096 токенов. Модель создана на основе Yi: семейство Yi-1.5 прошло дополнительное предобучение на высококачественном корпусе объёмом 500 млрд токенов и дообучение на 3 млн разнообразных примеров. Модель предназначена для генерации текста, понимания инструкций, рассуждений, чтения и ответов на вопросы, а также задач по математике и программированию. Разработчик отмечает улучшения относительно Yi в программировании, математике, рассуждениях и следовании инструкциям. В README перечислены также варианты Yi-1.5 с контекстом 16K и 32K, но метаданные этого репозитория указывают 4096 токенов. Модель распространяется по лицензии Apache-2.0. Это базовая версия, а не одна из перечисленных в README чат-версий; заявленные сильные стороны и результаты бенчмарков относятся к семейству, а не гарантируют качество на конкретных задачах. В карточке нет сведений о специальных ограничениях применения.

Yi-1.5-34B-Chat-GGUF — квантизированная в формате GGUF версия диалоговой языковой модели Yi-1.5-34B-Chat, разработанной компанией 01-ai. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального текстового общения и широкого круга задач: генерации текста, следования инструкциям, программирования, математики, рассуждений, понимания языка, здравого смысла и чтения с пониманием. Модель содержит около 34 млрд параметров и относится к семейству текстовых моделей с архитектурной основой Llama. Она поддерживает диалоговый шаблон ChatML и рассчитана на общий сценарий использования. Yi-1.5 была дополнительно обучена на корпусе объёмом 500 млрд токенов и дообучена на 3 млн разнообразных примеров; точная длина контекста, языки и другие технические характеристики в README не указаны. Сильные стороны модели — универсальность, развитое следование инструкциям, способности к программированию, математике, рассуждениям и пониманию текста. Ограничения включают отсутствие опубликованных подробных технических характеристик, а также типичные для генеративных моделей риски неточностей, неподходящего или вредного содержания. Модель распространяется по лицензии Apache-2.0.

Zrald выпускает GGUF-квантование модели Qwen3.8-27B в профиле zraldv1-ba, ориентированном на баланс размера и качества. Репозиторий содержит файл весов объёмом 14,46 GiB; в README заявлено сохранение 99,12% точности относительно исходной модели. Модель рассчитана на диалоги, генерацию текста, программирование и задачи рассуждения; метаданные указывают поддержку чата. Базовая модель Qwen описана в каталоге как мультимодальная, однако для этой сборки явно заявлены только текстовые сценарии. README сообщает о тестировании на AMD Instinct MI300X, скорости обработки промптов 1 103,4 токена/с и генерации 64,7 токена/с, а также рекомендует не менее 16 ГБ VRAM. Эти показатели приведены разработчиком и могут зависеть от оборудования и конфигурации. Модель распространяется под лицензией Apache-2.0.

AFM-4.5B-Preview — предварительная версия инструкционной языковой модели Arcee.ai, основанная на AFM-4.5B-Base и дообученная для ответов на инструкции и диалога. Модель использует декодерную архитектуру Transformer ArceeForCausalLM с grouped-query attention и активацией ReLU². В метаданных указано 6 млрд параметров, а в README — 4,5 млрд; контекст составляет до 65 536 токенов. Модель принимает и генерирует текст, поддерживает несколько языков, включая русский, английский, испанский, французский, немецкий, итальянский, португальский, арабский, хинди, корейский и китайский. Модель подходит для диалогового помощника, следования инструкциям, генерации текста, а также задач с математическими рассуждениями и кодом, унаследованных от базовой модели. Это preview-чекпойнт, размещавшийся на TogetherAI с 18 июня по 28 июля; для retrieval, следования инструкциям и сценариев ассистента разработчик рекомендует финальный выпуск AFM-4.5B. Лицензия — Apache 2.0.

airoboros-c34b-2.2.1 — экспериментальная языковая модель jondurbin, дообученная на синтетических инструкционных данных набора airoboros-2.2.1. Это плотная авторегрессионная модель семейства Llama на 33,5 млрд параметров с контекстом до 16 384 токенов; опубликована в формате PyTorch под лицензией Llama 2. Модель предназначена для выполнения инструкций, ответов на вопросы с опорой на предоставленный контекст, суммаризации, написания текстов и кода. В README также описаны генерация структурированных аргументов для вызова функций и составление планов выполнения задач, однако для вызова инструментов требуется отдельная система, которая обработает такой план. Для диалога используется шаблон с метками USER и ASSISTANT. В сравнении с airoboros-c34b-2.2 в этой версии обновлены примеры письма, добавлены более длинные блоки контекста, удалены данные ролевых игр и снижена интенсивность снятия цензуры; обучение проводилось в пять эпох. README характеризует модель как универсальную, но ориентированную прежде всего на следование инструкциям, а не на непринуждённый чат. Автор предупреждает, что без настроенных критериев остановки модель может продолжить ответ от имени пользователя; для вопросов по контексту советует явно просить не придумывать ответ при нехватке сведений.

Apertus-70B-Instruct-2509-GGUF — GGUF-версия 70-миллиардной языковой модели Apertus-70B-Instruct-2509, разработанной Swiss National AI Institute (SNAI) при участии ETH Zurich и EPFL. Это авторегрессионный decoder-only Transformer для генерации и обработки текста, диалоговых сценариев и агентского использования с поддержкой инструментов. Модель обучена с нуля на 15 триллионах токенов, включая веб-данные, код и математические материалы. Она поддерживает длинный контекст до 65 536 токенов и 1811 языков, ориентирована на полностью открытые, прозрачные и многоязычные применения. В архитектуре используются функция активации xIELU, оптимизатор AdEMAMix, а последующее дообучение включало supervised fine-tuning и выравнивание методом QRPO. Формат GGUF предназначен для совместимого локального запуска, однако конкретный уровень квантования в представленных данных не указан. Сильными сторонами модели являются широкий языковой охват, длинный контекст, открытость весов, обучающих данных и сведений о процессе обучения, а также заявленное соблюдение требований к согласию владельцев данных. Ограничения включают высокие требования к вычислительным ресурсам, типичные для модели такого размера, возможные ошибки и неточности при генерации, а также отсутствие данных о характеристиках конкретной GGUF-квантизации. Модель распространяется по лицензии Apache-2.0, но её использование также связано с отдельной политикой допустимого использования Apertus; разработчики рекомендуют применять регулярно обновляемый фильтр для удаления персональных данных из результатов.

Athena-1 1.5B — компактная языковая модель на 1,5 млрд параметров, дообученная разработчиком карточки на Qwen/Qwen2.5-1.5B-Instruct. Она предназначена для генерации текста по инструкциям и диалогов, а также для задач с кодом, математикой, документами и структурированными данными. Модель может формировать JSON и другие структурированные ответы; заявлена поддержка генерации до 8 тысяч токенов за один ответ. Модель использует архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. В README заявлена поддержка более 29 языков, включая английский, русский, китайский, французский, испанский, немецкий, японский и арабский; метаданные карточки отмечают английский. Размер модели рассчитан на применение в сценариях с ограниченными вычислительными ресурсами. Модель распространяется по лицензии Apache-2.0.

Athena-1-7B — инструктивная языковая модель на архитектуре Qwen2, созданная дообучением Qwen/Qwen2.5-7B-Instruct. Разработчик позиционирует её как модель для диалогов, генерации контента и структурированной обработки данных. Веса представлены в формате PyTorch; модель содержит около 7,1 млрд параметров по метаданным. Метаданные указывают контекст до 32 768 токенов, тогда как README заявляет до 131 072 токенов; фактический контекст может зависеть от конфигурации репозитория и используемого ПО. Модель предназначена для следования инструкциям, написания и объяснения кода, математических задач, анализа и суммаризации документов, а также создания JSON и других структурированных ответов. README заявляет поддержку более 29 языков, включая русский, однако в метаданных отмечен английский язык. Модель принимает текст и генерирует текст; в метаданных также указана возможность интерфейса вызова инструментов. Модель распространяется по лицензии Apache-2.0. README заявляет генерацию до 8 000 токенов за ответ; качество на конкретных задачах и фактическая языковая поддержка требуют проверки в целевом сценарии.

Bagel 8B v1.0 — диалоговая языковая модель, созданная jondurbin дообучением Meta Llama 3 8B на наборе инструкций Bagel. Она использует плотную архитектуру Llama и формат запросов Llama 3 Instruct; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель предназначена для генерации ответов в чате и выполнения разнообразных инструкций: ответы на вопросы, рассуждения, математика, программирование, суммаризация, творческое письмо и ролевой диалог. В обучающие данные также входили примеры вызова функций и работы с контекстом. В карточке приведено сравнение с Mistral 7B v0.2 по MT-Bench, где Bagel 8B v1.0 получила среднюю оценку 7,296875; это результат, заявленный автором, а не гарантия качества для конкретной задачи. Модель принимает текст и генерирует текст. В карточке перечислены многоязычные данные, включая Belebele, но основной язык отдельно не заявлен. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

Bagel DPO 7B v0.1 — диалоговая языковая модель, разработанная jondurbin и дообученная методом прямой оптимизации предпочтений (DPO) на базе семейства Llama. Модель содержит 7,1 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текстовые запросы. Для общения применяются форматы Vicuna, Llama 2, Alpaca и ChatML; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов и широкого круга инструктивных задач: ответов на вопросы, рассуждений, математики, написания кода и творческих текстов. В описании приведены результаты оценок на наборах ARC, BoolQ, GSM8K, MMLU и других, а также MT-Bench. Обучающие данные включают англоязычные и многоязычные источники, в том числе Belebele; карточка не уточняет полный перечень поддерживаемых языков. Автор предупреждает, что эта DPO-версия может чаще отказывать в ответах, чем недистиллированная от предпочтений версия. В данных обучения присутствует токсичный контент. Модель распространяется под лицензией Apache-2.0.

Bagel DPO 7B v0.4 — разговорная языковая модель, созданная jondurbin на основе Mistral 7B v0.1 и дополнительно обученная методом direct preference optimization (DPO). Она предназначена для генерации ответов в чате, следования инструкциям и задач общего назначения, включая вопросы по контексту, математику, программирование, суммаризацию и творческое письмо. Модель использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В обучении использованы наборы инструкций и предпочтений по разным темам, в том числе код, естественные науки, чтение, диалоги и художественное письмо. Карточка указывает четыре совместимых формата промпта: Vicuna, Llama 2, Alpaca и ChatML. Модель рассчитана на генерацию текста и диалоговое применение. Карточка отмечает, что версия без DPO может быть лучше для ролевых диалогов; в наборе данных присутствуют токсичные примеры, поэтому выходы могут содержать токсичный или иной нежелательный контент. Распространяется по лицензии Apache-2.0.