II.8Инженерия данных и аналитика

Qwen3-VL-30B-A3B-Thinking — мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Это версия с визуальным анализом и режимом Thinking для рассуждений; репозиторий содержит веса в формате Safetensors и предназначен для использования с Transformers. Архитектура указана как Qwen3 VL MoE; название модели обозначает класс 30B-A3B. Модель принимает текст и изображения, а также предназначена для понимания видео и пространственных сцен. Она поддерживает диалог, визуальный анализ, OCR, рассуждения по STEM-задачам, извлечение информации из длинных документов и взаимодействие с инструментами; заявлены сценарии управления графическими интерфейсами и генерации кода интерфейсов по изображениям и видео. В README указан контекст 256K с возможностью расширения до 1M токенов и OCR на 32 языках. Сильные стороны — объединённое текстовое и визуальное понимание, анализ временной структуры видео, распознавание текста в сложных условиях и пространственные рассуждения. Точные результаты зависят от сценария; README не содержит численных результатов тестирования. Лицензия — Apache-2.0.

ehristoforu/QwenQwen2.5-7B-IT — текстовая инструктивная модель, созданная слиянием весов методом TIES на основе Qwen/Qwen2.5-7B-Instruct. В конфигурации указан один исходный чекпойнт с весом 1, поэтому карточка описывает сборку на его основе без перечисления дополнительных моделей-участников. Модель относится к плотной архитектуре Qwen2ForCausalLM, содержит 7,1 млрд параметров и использует формат safetensors; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям, включая структурированные ответы и использование интерфейса вызова инструментов. В качестве сценариев подходят ответы на вопросы, составление и редактирование текста, а также генерация кода на основе запросов. Языки и специализированные предметные области в карточке не обозначены. Лицензия в предоставленных данных не указана.

Ring-2.6-1T — большая языковая модель компании InclusionAI для рассуждений и выполнения сложных многошаговых задач. В README заявлено триллион параметров, тогда как метаданные репозитория указывают 59 млрд; фактический размер по доступным сведениям определить однозначно нельзя. Метаданные описывают архитектуру как MoE на базе BailingMoE V2.5 и указывают формат safetensors с compressed-tensors; для запуска README упоминает поддержку BF16 и FP8 в SGLang. Модель предназначена для агентных сценариев: планирования шагов, вызова инструментов, продолжительных диалогов и автоматизации рабочих процессов. Среди заявленных применений — разработка ПО, научный анализ, сложные логические и математические задачи, а также корпоративная автоматизация. README сообщает о режимах интенсивности рассуждений high и xhigh и контексте 128K с расширением до 256K через YaRN; метаданные указывают нативный контекст 131072 токена. Карточка приводит результаты ряда бенчмарков, но они являются заявлениями разработчика. Метаданные подтверждают текстовую генерацию и возможность чата; конкретные языки не указаны. Лицензия репозитория — MIT.

Spark-X2.5-4B-OptiQ-4bit — это локально запускаемая MLX-квантизированная версия модели XHToken/Spark-X2.5-4B, подготовленная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для диалогов, программирования, вызова инструментов и агентских сценариев, особенно на компьютерах Apple Silicon без PyTorch и облачных сервисов. Она поддерживает текстовую генерацию и заявляет поддержку более 200 языков. Модель использует плотную архитектуру Spark-X2.5 с 4 млрд параметров и нативным контекстом до 1 млн токенов. Квантизация смешанной точности преимущественно 4-битная: чувствительные слои хранятся в 8-битном формате, остальные — в 4-битном; размер весов на диске составляет около 2,8 ГБ. Для KV-кэша предусмотрена отдельная смешанная точность. Архитектура включает полное внимание только в девяти слоях, а остальные используют скользящее окно размером 512 токенов, что снижает рост потребления памяти при длинных запросах. Сильные стороны модели — компактный размер, эффективный локальный запуск, длинный контекст и сохранение качества за счёт чувствительной к слоям квантизации. В приведённых тестах смешанная квантизация превзошла равномерную 4-битную по среднему Capability Score, а также показала улучшения в MMLU, GSM8K, BFCL, HumanEval и HashHop; в IFEval результат немного снизился. Модель требует установки mlx-optiq и импорта optiq перед загрузкой, поскольку стандартный mlx-lm не распознаёт тип spark2_5. Лицензия — Apache 2.0, унаследованная от базовой модели.

Карточка модели jondurbin/spicyboros-c34b-2.2 на Hugging Face совпадает с карточкой jondurbin/spicyboros-70b-2.2, поэтому описание составлено по ней. jondurbin/spicyboros-70b-2.2 — экспериментальная инструкционная языковая модель на архитектуре Llama, созданная Jondurbin на основе преимущественно синтетических данных Airoboros 2.2. Модель содержит 68,7 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 4096 токенов. Карточка описывает формат диалога с ролями USER и ASSISTANT и примерами для ответов по предоставленному контексту, написания текстов, программирования и генерации JSON или YAML для вызова функций. Модель рассчитана на широкий круг инструкционных задач и особенно ориентирована на пары «инструкция — ответ», а не на непринуждённый чат. В обучении использовались синтетические данные, включая примеры с ослабленными ограничениями на ответы. Разработчик предупреждает, что модель может выдавать ненормативную лексику и чувствительный или откровенный контент, а также рекомендует останавливать генерацию при появлении новой реплики USER. Лицензия указана как Llama 2; применение должно соответствовать её условиям.

Tele-FLM (также FLM-2) — открытая многоязычная языковая модель на 52,2 млрд параметров, разработанная BAAI и TeleAI. Это плотный декодерный Transformer, обученный примерно на 2 трлн токенов; архитектура использует RoPE, RMSNorm и SwiGLU и во многом совместима с Llama. Контекст модели составляет 4096 токенов. Модель предназначена для генерации текста и извлечения признаков, включая многоязычные запросы и задачи, где важны фактические суждения. В обучающих данных преобладают английский и китайский языки; также включены код и тексты на других языках. Доступны веса и сведения о разработке и обучении модели. Модель распространяется по лицензии Apache 2.0. По предупреждению разработчиков, она может воспроизводить предвзятые или оскорбительные примеры и выдавать небезопасный контент; ответы следует проверять.

Vikhr-Llama3.1-8B-Instruct-R-21-09-24 — русско- и англоязычная унимодальная языковая модель команды VikhrModels, дообученная на базе Meta-Llama-3.1-8B-Instruct. Это плотная causal language model семейства Llama с 7,5 млрд параметров, предназначенная для диалогов и генерации текста. Модель поддерживает контекст до 131 072 токенов и распространяется в формате Safetensors по лицензии Apache-2.0. Модель подходит для ответов на инструкции и вопросы, рассуждений, суммаризации, генерации кода и ролевого диалога. Отдельно обучена для grounded RAG: может использовать предоставленные документы и выбирать их идентификаторы для ответа. В README авторы описывают этапы SFT и собственный метод выравнивания SMPO и приводят результаты внутренних бенчмарков; эти оценки не гарантируют качество на иных данных. У модели отмечен низкий уровень безопасности ответов, поэтому перед применением в пользовательских сценариях нужны собственные проверки. Для режима RAG требуется специальный системный промпт, и модель может дополнять сведения из документов собственными знаниями. Авторы рекомендуют низкую температуру генерации; системные промпты лучше использовать для задания стиля, а не персонажа.

AI21 Jamba Reasoning 3B — компактная языковая модель для генерации текста и задач рассуждения, разработанная компанией AI21. Она предназначена для локального и периферийного развертывания, анализа документов и последовательностей, классификации, ответов на вопросы и других сценариев, где важны сочетание качества, скорости и работы с длинным контекстом. Модель содержит около 3 млрд параметров и построена на гибридной архитектуре Transformer–Mamba: 26 слоёв Mamba и 2 слоя внимания. Используется 20 голов внимания с MQA, словарь включает 64 тысячи токенов, а максимальная длина контекста заявлена на уровне 256 тысяч токенов. Поддерживаются английский, испанский, французский, португальский, итальянский, нидерландский, немецкий, арабский и иврит. Доступны GGUF-квантизации, включая вариант Q4_K_M размером около 1,93 ГБ, что упрощает запуск на ноутбуках, GPU и мобильных устройствах через llama.cpp, LM Studio или Ollama. К сильным сторонам относятся высокая эффективность обработки последовательностей, сниженные требования к памяти, большой контекст и заявленные конкурентные результаты на ряде интеллектуальных бенчмарков. Ограничения включают компактный размер модели, который может уступать более крупным системам в сложных задачах, а также возможное снижение качества при использовании сильной квантизации. Модель распространяется по лицензии Apache 2.0; в карточке также указано название лицензии Jamba Open Model License и приведена отдельная ссылка на её текст.

airoboros-dpo-110b-3.3 — экспериментальная чат-модель, дообученная Jon Durbin на базе Qwen 1.5 110B с дополнительным этапом DPO. Она предназначена для диалога, ответов на вопросы по предоставленному контексту, суммаризации, генерации кода и структурированных ответов, включая вывод аргументов для вызова функций. Модель использует архитектуру Qwen2 с плотной сетью из 110 млрд параметров, формат диалога ChatML и контекст до 32 768 токенов. Карточка описывает настройку ответов по контексту, генерацию длинных ответов и планов выполнения, а также примеры задач на кодирование и ролевой диалог. Для ответов по заданному контексту рекомендуется низкая температура; качество следования таким инструкциям зависит от явного форматирования входных данных. Автор отмечает, что иногда в конце ответов появляются случайные лишние токены. Репозиторий содержит веса safetensors; лицензия в метаданных указана как other, без уточнения условий.

airoboros-l2-13b-2.2.1 — экспериментальная инструкция-ориентированная языковая модель на архитектуре Llama с 12,9 млрд параметров, созданная Джоном Дурбином на основе преимущественно синтетических данных. Это обновлённая версия airoboros-l2-13b-2.2: в ней заново сгенерированы ответы для задач письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры и изменена степень снятия ограничений. Модель предназначена для выполнения инструкций, ответов на вопросы по предоставленному контексту, суммаризации, генерации текста и кода, а также формирования аргументов функций в JSON или YAML. Для диалога используется текстовый формат с метками USER и ASSISTANT; контекст составляет 4096 токенов. Модель не ориентирована прежде всего на непринуждённый чат и ролевую игру. Карточка характеризует модель как экспериментальную и предупреждает, что при ответах вне заданного контекста она может выдумывать сведения; для закрытых вопросов рекомендуется явно просить не придумывать ответ при недостатке информации. Распространяется по лицензии Llama 2.

jondurbin выпустил инструкционно дообученную модель Airoboros на базе Llama 2 с 13 млрд параметров. Она обучена на синтетических инструкциях Airoboros, созданных GPT-4: серия 2.0 использует данные версии GPT-4 от июня 2023 года, а вариант m2.0 дополнительно объединяет датасет 1.4.1 без дубликатов и категории system, включая данные GPT-4 от марта 2023 года. Модель предназначена для генерации ответов на инструкции, вопросов по заданному контексту, помощи с программированием и построения аргументов функций в JSON или YAML. Для диалога применяется формат с маркерами USER и ASSISTANT и заданным системным префиксом; заявленная длина контекста — 4096 токенов. Архитектура — плотная LlamaForCausalLM, веса доступны в формате PyTorch. README описывает модель как uncensored и указывает, что она настроена отвечать без отказов; поэтому ответы могут включать небезопасное или сомнительное содержание. Автор отмечает, что результаты вариантов 2.0 и m2.0 следует сравнивать на практике. Лицензия указана как other; README характеризует лицензию 7B/13B как неоднозначную, поэтому условия использования следует уточнить в карточке модели.

DBRX Instruct — большая языковая модель для генерации текста, разработанная Databricks. Представленная карточка содержит GGUF-квантизации модели dbrx-instruct с использованием importance matrix (imatrix), предназначенные для запуска через llama.cpp и совместимых инструментов. Модель основана на decoder-only Transformer и архитектуре fine-grained Mixture-of-Experts (MoE): всего 132 млрд параметров, из которых около 36 млрд активируются для каждого входа. Она использует 16 экспертов по 12 млрд параметров, выбирая 4 эксперта на токен, а также RoPE, GLU и grouped query attention (GQA). Модель обучена предсказывать следующий токен на 12 трлн токенов текста и кода; заявленная длина контекста — 32 768 токенов, число слоёв — 40. Токенизатор основан на GPT-4 tokenizer из репозитория tiktoken. Предусмотрен диалоговый шаблон с ролями system, user и assistant. Модель предназначена для генерации текста, диалоговых сценариев, написания материалов и работы с кодом. Квантизации позволяют уменьшить требования к памяти; например, вариант IQ4_XS имеет размер около 65,29 ГиБ, а в README приведены результаты perplexity на wiki.test. Ограничения включают значительные аппаратные требования из-за общего размера модели, зависимость от совместимой версии llama.cpp и чувствительность некоторых вариантов квантизации IQ3. Для запуска указан commit llama.cpp 4bd0f93e, а для работы на Metal может потребоваться дополнительное исправление. Лицензия указана как Databricks Open Model License; тип лицензии в карточке обозначен как other. Файлы квантизации опубликованы пользователем phymbert и предназначены также для тестирования imatrix-квантизации.

FreedomAISVR/Gemma-4-12B-it-NVFP4-GGUF — квантованная в формате NVFP4 версия инструкционной модели Google Gemma 4 12B-it. Это плотный трансформер-декодер Gemma4ForCausalLM с 12,08 млрд параметров, предназначенный для диалога, следования инструкциям, рассуждений, программирования и мультимодального понимания. Модель рассчитана на запуск на видеокартах NVIDIA Blackwell, включая RTX 50 серии; репозиторий содержит GGUF-веса с заявленным размером файла 6,5 ГБ. Карточка приводит результаты на RTX 5060 Ti и рекомендует контекст до 256 тыс. токенов с соответствующими настройками KV-кэша. NVFP4 использует 4-битное представление весов с масштабированием по группам; автор отмечает, что на потребительских GPU скорость декодирования ограничена ядрами, а тензорные ядра FP4 в первую очередь ускоряют обработку входного контекста. Метаданные указывают диалоговую возможность, английский язык и задачу text-generation; описание базовой модели сообщает о понимании изображений, видео и аудио, но карточка этой квантованной версии не описывает точный мультимодальный интерфейс. Лицензия — Apache-2.0.

EmanuelOverride/gemma-4-19b-a4b-it-REAP-heretic-APEX-GGUF — это GGUF-квантизированная версия Gemma 4 19B-A4B-it REAP, созданная на основе модели coder3101/gemma-4-19b-a4b-it-REAP-heretic. В основе лежит Gemma 4 от Google, подвергнутая 30% pruning экспертов методом Cerebras REAP, а затем декензурированная с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation. Репозиторий поддерживает текстовую генерацию и ориентирован на англоязычные сценарии. Модель использует mixture-of-experts архитектуру: около 19,02 млрд общих параметров, примерно 4 млрд активных параметров на токен, 90 экспертов на слой и 8 активируемых экспертов на токен. Удаление 38 из 128 экспертов на слой уменьшает общий размер модели примерно на 31%, при этом число активных параметров на токен сохраняется. README не указывает размер контекстного окна и полный перечень поддерживаемых модальностей; по имеющимся данным, модель предназначена для работы с текстом, включая программирование, рассуждения, математику, научные и биомедицинские вопросы, tool calling и агентные сценарии. Главная особенность версии GGUF — пользовательские APEX-квантизации с неравномерным распределением точности: маршрутизаторы и важные общие эксперты сохраняются в более высокой точности, а более сильное сжатие применяется к менее значимым тензорам средних слоёв. Доступны варианты от i-Mini размером около 8,7 ГиБ и 3,94 BPW до i-Balanced размером около 13,9 ГиБ и 6,30 BPW, а также промежуточные профили. Это позволяет выбирать баланс между размером, потреблением памяти и качеством, однако фактическая производительность зависит от оборудования и выбранной квантизации. По заявленным тестам, декензурированная версия значительно реже отказывается отвечать: 6 отказов из 100 против 94 у исходной модели, при KL divergence 0,029. Ограничениями являются возможная потеря качества из-за pruning, декензурирования и квантизации, а также отсутствие подробных данных о контексте и комплексных бенчмарках. Указана лицензия Gemma; условия применения следует проверять по лицензии исходной модели и требованиям Google.

AtomicChat/gemma-4-E2B-it-assistant-GGUF — это квантизированная в формат GGUF версия модели google/gemma-4-E2B-it-assistant, подготовленная командой Atomic Chat на основе оригинальных весов Google. Модель предназначена для локального и полностью автономного запуска, прежде всего для текстовой генерации, диалоговых ассистентов, рассуждений, программирования и обработки длинного контекста. Для работы в llama.cpp необходимо применять шаблон чата Gemma 4 через параметр --jinja. Модель имеет плотную decoder-архитектуру Gemma4AssistantForCausalLM с 35 слоями, гибридным вниманием — скользящее окно 512 токенов и глобальное внимание — четырьмя attention heads на одну KV head, словарём из 262 тысяч токенов и заявленным контекстом до 128K токенов. Эффективный размер составляет 2,3 млрд параметров, или 5,1 млрд с учётом embedding-параметров. Базовая модель поддерживает текст, изображения и аудио, однако представленные GGUF-файлы являются текстовыми и не содержат vision projector. Доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; квантизация выполнена с importance matrix, что помогает сохранять качество исходной модели при меньшем размере. Сильными сторонами являются компактность, возможность офлайн-развёртывания, поддержка длинного контекста и несколько уровней компромисса между качеством, скоростью и требованиями к памяти. Ограничения этой версии — отсутствие мультимодальных возможностей базовой модели и потенциальная потеря качества при низкобитной квантизации; приведённые в README результаты относятся к исходной модели Google, а не к самостоятельным измерениям этой сборки. Модель распространяется по лицензии Apache-2.0.

GLM-4.7-Flash-bf16 — диалоговая языковая модель семейства GLM4 MoE Lite, подготовленная сообществом mlx-community в формате MLX из zai-org/GLM-4.7-Flash. Она предназначена для генерации текста в диалоге, включая рассуждения и программирование. Модель содержит 4,1 млрд параметров и поддерживает контекст до 202 752 токенов; карточка указывает поддержку английского и китайского языков. Модель построена на архитектуре Glm4MoeLiteForCausalLM и использует библиотеку MLX. Репозиторий содержит веса Safetensors и доступен по лицензии MIT. В README приведена команда установки mlx-lm для использования модели на MLX-совместимой платформе.

Hagwell/GLM-5.3-Flash-GGUF — GGUF-версия модели GLM-5.3-Flash, разработанной командой GLM-5 и распространяемой в экосистеме Z.ai; репозиторий также связан с инструментами Unsloth. Модель предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с длинным контекстом и мультимодальными данными. GLM-5.3-Flash — первая нативно мультимодальная модель серии GLM-5. Она содержит 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса. Архитектура сочетает разреженное и линейное внимание для снижения стоимости обслуживания длинного контекста и использует Manifold-Constrained Hyper-Connections для повышения эффективности масштабирования. Модель обучалась на мультимодальном корпусе объёмом 30 трлн токенов и поддерживает английский и китайский языки. В README заявлены улучшения относительно GLM-5.2, особенно в программировании и агентских задачах. Ключевые ограничения связаны с форматом и совместимостью: для запуска рекомендуется использовать llama.cpp с указанными изменениями или приложение Unsloth Desktop. README не содержит подробных сведений о конкретных вариантах квантизации, требованиях к памяти, максимальном контексте для данного GGUF-файла или ограничениях качества. Модель распространяется по лицензии MIT.

Coder40-95/GLM-5.3-GGUF — это квантованная версия языковой модели GLM-5.3, разработанной Z.ai и распространяемой в формате GGUF. В карточке указано, что модель основана на zai-org/GLM-5.3, а квантование связано с экосистемой Unsloth. Модель предназначена для генерации текста, сложного программирования, длительных многоэтапных задач, работы с инструментами и агентских сценариев. Заявлена поддержка английского и китайского языков. Ключевое преимущество GLM-5.3 — улучшенная по сравнению с GLM-5.2 способность к программированию и задачам, требующим продолжительного планирования. В README также заявлены высокие результаты в тестах поиска уязвимостей и эксплуатации, поэтому модель может быть полезна для исследовательских и защитных задач кибербезопасности при соблюдении соответствующих ограничений. Доступно управление интенсивностью рассуждений через параметр reasoning_effort со значениями low, high и max; по умолчанию используется max. Размер модели, точная архитектура, параметры квантования и стандартная длина контекста в карточке не указаны. Модель ориентирована на локальный запуск совместимых GGUF-инструментов, однако конкретные требования к памяти и производительности зависят от варианта квантования и оборудования. Ограничения включают возможные ошибки генерации, а также необходимость осторожного применения заявленных кибербезопасностных возможностей. Лицензия обозначена как glm-5.3; подробные условия её использования в README не приведены.

Granite-3.0-8B-Base — базовая языковая модель IBM Granite Team для генерации текста и преобразования текста в текст. Это плотный авторегрессионный трансформер с архитектурой decoder-only, реализованный как GraniteForCausalLM; модель содержит 8,2 млрд параметров и распространяется в формате safetensors для библиотеки Transformers. Она обучена с нуля в два этапа на 10 трлн токенов разнородных данных и затем на 2 трлн токенов отобранных данных. Контекст модели составляет 4096 токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы, а также как базовая точка для дообучения под специализированные сценарии. В архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Модель не прошла выравнивание по требованиям безопасности и может выдавать проблемные ответы, предвзятый или недостоверный контент; возможны галлюцинации и воспроизведение фрагментов обучающих данных. Результаты требуют проверки, особенно в сценариях с высокими последствиями.

Granite-3.1-2B-Base — базовая языковая модель команды Granite компании IBM для генерации и преобразования текста. Она предназначена для суммаризации, классификации, извлечения сведений, ответов на вопросы и других задач с длинным контекстом; также может служить основой для дообучения под специализированные сценарии. Модель построена на плотной decoder-only архитектуре Transformer с 2,5 млрд параметров. В ней используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Контекст увеличен до 131 072 токенов посредством дополнительного обучения на длинных последовательностях. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель не проходила safety alignment; возможны предвзятые, ошибочные или небезопасные ответы, а также воспроизведение фрагментов обучающих данных. Выпущена под лицензией Apache 2.0.

Granite-3.3-8B-Base — базовая языковая модель IBM Granite Team для генерации и преобразования текста. Это плотный decoder-only трансформер на 8,2 млрд параметров с контекстом до 131 072 токенов. Архитектура использует GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги; модель распространяется в формате safetensors и по лицензии Apache 2.0. Модель предназначена для продолжения текста и задач с длинным контекстом: суммаризации, классификации, извлечения информации и ответов на вопросы. Поддержка Fill-in-the-Middle позволяет генерировать код или текст с учётом заданного префикса и суффикса. README указывает поддержку английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Модель не проходила safety alignment, поэтому может выдавать проблемный контент; возможны предвзятость, дезинформация и дословное воспроизведение фрагментов обучающих данных. Для практических задач, требующих специализированного поведения, IBM рекомендует использовать базовую модель как основу для дообучения.

bunnycore/HyperLexi-8B-breadcrumbs — плотная языковая модель семейства Llama 3.1, созданная автором репозитория с помощью mergekit методом breadcrumbs. В слияние вошли несколько моделей на базе Llama 3.1, включая варианты для генерации текста без цензурных ограничений, программирования, диалогов и рефлексивных ответов. Базовой моделью при слиянии была unsloth/Meta-Llama-3.1-8B. Модель предназначена для генерации текста и диалогов; её можно применять для ответов на вопросы, помощи с кодом и создания развернутых текстовых ответов. Она содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Метаданные указывают библиотеку Transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.

duyntnet/internlm2_5-7b-chat-1m-imatrix-GGUF — это GGUF-квантизации чат-модели InternLM2.5-7B-Chat-1M, разработанной командой InternLM. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, следование инструкциям, математическое рассуждение, работу с длинными документами и использование инструментов. Модель содержит около 7 миллиардов параметров и работает с текстовой модальностью. Заявлено контекстное окно до 1 миллиона токенов, а также улучшенные способности к рассуждению, выбору инструментов, следованию инструкциям и рефлексии. Для длинного контекста рекомендуется LMDeploy; заявленная конфигурация на 1 миллион токенов требует 4 GPU A100 с 80 ГБ памяти. Для обычного запуска доступны llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. К сильным сторонам относятся большой контекст, математическое рассуждение и поддержка сценариев с инструментами. Ограничения включают высокие вычислительные требования при использовании максимального контекста, а также зависимость от совместимого ПО и параметров квантизации. В метаданных указаны английский язык и лицензия «other»; точные условия лицензии README не уточняет.

Llama-3.1-Storm-8B — языковая модель команды Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Это плотная авторегрессионная модель семейства Llama на 7,5 млрд параметров, предназначенная для диалога, следования инструкциям, ответов на вопросы, рассуждений и вызова функций. Контекст составляет до 131 072 токенов. Модель дообучена на основе Llama-3.1-8B-Instruct: авторы отобрали около миллиона примеров с упором на образовательную ценность и сложность, провели целевое дообучение с заморозкой половины слоёв, а затем объединили результат методом SLERP с Llama-Spark. В карточке сообщается об улучшениях относительно Llama-3.1-8B-Instruct на ряде бенчмарков; это заявление авторов, и оно не гарантирует аналогичных результатов на прикладных данных. Модель рассчитана на общее применение, в том числе на локальный запуск при ограниченных вычислительных ресурсах; поддерживает работу через Transformers и vLLM, а также сценарии function calling при использовании соответствующего формата запроса. В метаданных указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Чекпойнт представлен в safetensors и использует формат bfloat16 для рекомендованного запуска. Лицензия — Llama 3.1; перед использованием следует учитывать её условия. Авторы отмечают, что отдельного этапа выравнивания модель не проходила.

Meta Llama 3 70B — большая авторегрессионная языковая модель Meta на 69,5 млрд параметров с плотной архитектурой Transformer и Grouped-Query Attention. Репозиторий содержит веса в формате safetensors; модель принимает текст и генерирует текст и код. Контекст модели составляет 8192 токена. Карточка описывает семейство Llama 3, включающее предварительно обученные и дообученные для следования инструкциям варианты; README указывает, что варианты с инструкционным дообучением используют SFT и RLHF, однако не уточняет вариант этого репозитория. Модель предназначена для генерации текста и кода, а диалоговые сценарии особенно подходят инструкционным вариантам. В README заявлено целевое использование на английском языке; применение на других языках выходит за рамки рекомендаций, хотя дообучение для других языков допускается условиями лицензии и политики использования. Модель статична и обучена на офлайн-данных. Для использования требуется соблюдать пользовательскую лицензию Meta Llama 3 и Acceptable Use Policy; лицензия обозначена в метаданных как нестандартная, а README сообщает о доступности коммерческой лицензии.

coder3101/Muse-Glimmer-30B-heretic-v2 — производная версия Muse Glimmer-30B от Meta Superintelligence Lab, изменённая методом abliteration для снижения частоты отказов. Это плотная причинная трансформерная модель с энкодером восприятия, примерно на 29,6 млрд параметров; она принимает текст и изображения и предназначена для диалогов, мультимодального анализа и агентных сценариев. Модель рассчитана на локальный запуск и поддерживает вызов инструментов, многошаговое планирование и восстановление после ошибок. Её можно применять для анализа скриншотов, диаграмм и документов, программирования, вызова функций и оценки ответов других моделей. В сравнении с исходной моделью в карточке указано 14 отказов из 100 против 58 из 100; это отражает снижение отказов, но не гарантирует точность или безопасность ответов. Карточка отдельно предупреждает о возможных ошибках в рассуждениях, смещённых или нежелательных ответах и ухудшении качества на недостаточно проверенных языках. Аудио не поддерживается, видео специально не оптимизировано. Лицензия — Apache 2.0.

NousResearch/Nous-Hermes-2-Yi-34B — языковая модель Nous Research, дообученная на базе 01-ai/Yi-34B. Модель содержит 33,9 млрд параметров, использует плотную архитектуру семейства Llama и предназначена для генерации текста и диалогов по инструкциям. В обучении использован датасет OpenHermes-2.5, включающий преимущественно данные, сгенерированные GPT-4, и материалы из открытых наборов данных. Модель поддерживает многоходовый чат в формате ChatML и системные инструкции, что подходит для диалоговых ассистентов, ответов на вопросы и генерации кода. Заявленная длина контекста — 4096 токенов; в карточке приведены результаты бенчмарков, но они не гарантируют качество для конкретных задач. Модель принимает и генерирует текст; язык карточки — английский. Распространяется по лицензии Apache-2.0.

Это 4-битная версия NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, подготовленная командой LM Studio Community с помощью mlx_lm для запуска на компьютерах Apple с Apple Silicon. Базовая модель разработана NVIDIA; это гибридная языковая модель с архитектурой Mixture-of-Experts, общим размером 30 млрд параметров и примерно 3 млрд активных параметров на токен. Модель предназначена для диалогов, рассуждений, программирования и агентных сценариев с вызовом инструментов. Её можно использовать для генерации ответов, помощи при написании кода и создания приложений на базе языковой модели. Карточка базовой модели указывает поддержку английского, испанского, французского, немецкого, японского и итальянского языков, а также длинного контекста; точная длина контекста для этой версии не приведена. Квантизация снижает требования к памяти, но может повлиять на точность по сравнению с исходной версией BF16. Модель может выдавать неточные или неподходящие ответы. В карточке этой версии указана лицензия other; условия исходной модели следует учитывать отдельно перед использованием.

Qwen2.5-14B-Instruct-1M-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-14B-Instruct-1M, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи, требующие обработки очень длинного контекста, при сохранении возможностей на коротких запросах. В метаданных указана поддержка английского языка. Модель имеет контекстное окно до 1 миллиона токенов, что делает её подходящей для анализа больших документов и других длинных последовательностей. При этом для последовательностей свыше 262 144 токенов возможно снижение точности до появления улучшенной поддержки. Размер исходной модели составляет 14 миллиардов параметров; сведения о конкретном методе и уровнях GGUF-квантизации в README не указаны. Модель распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может генерировать неточный, неподходящий или вредоносный контент, поэтому результаты требуют проверки. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

dec0dedd выпустил чат-модель Qwen2.5-14B-Instruct-heretic — версию Qwen2.5 Instruct на 14 млрд параметров, обработанную методом abliteration для снижения частоты отказов. По приведённому в карточке сравнению, модель отказала в 5 из 100 тестовых запросов против 98 из 100 у исходной Qwen2.5-14B-Instruct; это измерение относится только к указанному тесту. Архитектура — плотная причинная языковая модель Qwen2 с поддержкой чата. Метаданные указывают контекст до 32 768 токенов; README описывает расширение контекста до 131 072 токенов с YaRN, но предупреждает о возможном ухудшении работы на коротких запросах при статической настройке YaRN. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, следование инструкциям и создание длинных или структурированных ответов. README базовой Qwen2.5 также отмечает навыки программирования, математики и работу с таблицами, однако отдельные результаты для этой производной модели не приведены. Поддерживаются английский и другие языки Qwen2.5; карточка явно помечает английский. Модель распространяется под лицензией Apache-2.0.