II.10Разработка и эксплуатация AI/ML-систем

CapRL-Qwen3VL-4B-GGUF — мультимодальная vision-language модель примерно на 4 млрд параметров, разработанная на основе internlm/CapRL-Qwen3VL-4B и Qwen3-VL-4B. Модель распространяется в формате GGUF с различными вариантами квантования и предназначена для обработки изображений и текста; заявленный язык — английский. Модель ориентирована прежде всего на генерацию подробных подписей к изображениям, визуальные вопросы и ответы, извлечение текста, а также анализ диаграмм, инфографики, документов и естественных изображений. По данным карточки, она обучалась с использованием двухэтапного Reinforcement Learning with Verifiable Rewards (RLVR) с оценкой качества подписей через vision-only LLM на тщательно отфильтрованном наборе разнообразных изображений. Заявлены широкий охват визуальной информации, структурированные ответы и сниженная склонность к галлюцинациям; возможна интеграция через vLLM OpenAI-compatible API с передачей изображений в формате base64. Сильными сторонами являются сочетание компактного размера, мультимодального понимания и поддержки большого числа уровней квантования, что позволяет выбирать баланс между качеством, скоростью и потреблением памяти. Ограничения включают заявленную ориентацию на английский язык, отсутствие в предоставленных данных точного размера контекстного окна и подробных результатов бенчмарков, а также потенциальные потери качества в сильно квантованных вариантах. Модель распространяется по лицензии Apache-2.0.

MiniMax-M2-REAP-172B-A10B-GGUF — это квантизированная GGUF-версия модели cerebras/MiniMax-M2-REAP-172B-A10B, подготовленная bartowski с использованием llama.cpp. Исходная модель разработана Cerebras. Модель относится к классу разреженных Mixture-of-Experts (MoE) и предназначена для генерации текста, включая диалоговые и другие сценарии текстового вывода. В README указана поддержка английского языка и формат взаимодействия с системными и пользовательскими промптами, включая секцию рассуждений <think>. Модель получена из MiniMax-M2 с равномерным удалением 25% экспертов методом REAP, поэтому её заявленные характеристики включают 172B параметров и обозначение A10B; точное число активных параметров, архитектурные детали и размер контекстного окна в README не раскрыты. Доступны многочисленные варианты квантизации от Q8_0 до более компактных Q2 и IQ-вариантов. Старшие варианты обеспечивают более высокое качество, тогда как младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для запуска рекомендуются LM Studio, llama.cpp и совместимые проекты. Это релиз только для текстовой модальности, без заявленной поддержки изображений, аудио или видео. Ключевое ограничение — очень большой объём файлов: даже рекомендуемые варианты занимают примерно 92–142 ГБ, а Q8_0 — около 183 ГБ, поэтому для запуска требуется мощное оборудование. Лицензия указана как other; конкретные условия использования в README не приведены.

Darwin-27B-RSI — плотная языковая модель семейства Qwen3.5, разработанная FINAL-Bench как версия Darwin-27B-Opus после рекурсивного самоулучшения. Модель дообучалась на собственных решениях: человеческие ответы и цепочки рассуждений не использовались, а корректность автоматически проверялась по согласованности выборок и выполнению кода. Для модели заявлены 22,3 млрд параметров в метаданных и 27 млрд в README, контекст до 262 144 токенов по метаданным; веса представлены в safetensors, точность BF16. Лицензия — Apache 2.0. Модель предназначена для генерации текста и диалогов с режимом рассуждения, в особенности для сложных научных и математических вопросов. В README сообщается об улучшении результатов относительно Darwin-27B-Opus на GPQA Diamond и SuperGPQA, а также о применении модели как движка рассуждений Darwin-27B-JEV. Описанный сценарий предполагает предоставление модели достаточного бюджета токенов для рассуждений. Заявленные улучшения проверены на задачах научного reasoning; перенос этих результатов на другие области не гарантирован. Модель может генерировать длинные рассуждения, что увеличивает задержку; для сценариев с ограничениями по времени рекомендуется ограничивать число генерируемых токенов. README также указывает на пересечение 31 обучающей задачи с набором MMLU в Decision Index.

EraX-WoW-Turbo-V1.0 — модель распознавания речи команды EraX, дообученная на базе OpenAI Whisper Large-v3 Turbo. Она преобразует аудио в текст и предназначена для быстрой транскрибации, создания субтитров, расшифровки встреч и работы голосовых приложений. Архитектура Whisper, размер — 905,2 млн параметров. В карточке заявлены обучение на примерно 300 тысячах примеров (около 1000 часов аудио) и поддержка вьетнамского, хинди, китайского, английского, русского, немецкого, украинского, японского, французского, нидерландского и корейского языков; также заявлена обработка аудио в реальном времени. Автор приводит предварительную оценку WER около 12%, но сообщает, что бенчмарки ещё завершаются. Модель может быть полезна для автоматической расшифровки речи, субтитров и голосовых интерфейсов. README отмечает возможные трудности с детской речью и тихим шёпотом. Указана лицензия MIT.

EraX-WoW-Turbo V1.1 — модель распознавания речи команды EraX, дообученная на основе openai/whisper-large-v3-turbo. Это мультиязычная архитектура Whisper с 905,2 млн параметров, предназначенная для преобразования аудио в текст. По данным карточки, обучение включало около 600 тысяч примеров и 1000 часов аудио на 11 языках: вьетнамском, английском, китайском, кантонском, индонезийском, корейском, японском, русском, немецком, французском и нидерландском. Модель рассчитана на транскрибацию в реальном времени, создание субтитров, расшифровку встреч и голосовые интерфейсы. В README заявлены скорость обработки 30 секунд аудио примерно за 350 мс и предварительный WER около 12%, однако авторы отмечают, что результаты бенчмарков ещё уточняются. Модель поддерживает входное аудио и выдаёт текст; карточка отдельно указывает возможные трудности с детской речью и тихим шёпотом. Лицензия — MIT.

ERNIE-4.5-21B-A3B-PT-GGUF — это квантизированная версия текстовой модели ERNIE-4.5-21B-A3B-PT, разработанной Baidu. Модель распространяется в формате GGUF для запуска средствами llama.cpp и совместимыми приложениями, включая LM Studio. Квантизацию выполнил bartowski на основе релиза llama.cpp b5924. Модель предназначена для генерации текста и других сценариев, поддерживаемых задачей text-generation, включая локальный запуск в приложениях, использующих GGUF. В названии указаны параметры 21B и A3B, однако README не содержит подробностей об архитектуре, механизме активации параметров, фактическом размере конкретного квантования, длине контекста, поддерживаемых языках или дополнительных модальностях. К сильным сторонам относятся локальное распространение в формате GGUF и совместимость с экосистемой llama.cpp. Ограничения и требования к ресурсам зависят от выбранного варианта квантования, но в README не приведены его характеристики. Лицензия модели в предоставленных данных не указана; условия использования следует уточнять в источнике оригинальной модели Baidu.

ERNIE-4.5-VL-424B-A47B-Base-PT — базовая мультимодальная модель Baidu семейства ERNIE 4.5, предназначенная для понимания и генерации текста с учётом изображений. Это предварительно обученная MoE-модель с архитектурой ERNIE4_5_VLMoeForConditionalGeneration: в README указаны 424 млрд параметров всего и 47 млрд активных параметров на токен; метаданные каталога приводят оценку общего размера 47,1 млрд. Модель обрабатывает текст и изображения, поддерживает контекст до 131 072 токенов и рассчитана на английский и китайский языки. Модель подходит для диалога, ответов на вопросы по изображениям, описания визуальных материалов и кросс-модальных рассуждений, а также для задач понимания и генерации текста. Это базовый чекпойнт стадии pretraining, а не указанный в карточке вариант, настроенный для конкретного пользовательского сценария. README приводит пример запуска через vLLM с 16 GPU по 80 ГБ и требует trust_remote_code. Лицензия — Apache-2.0.

Exodius-70B — объединённая языковая модель, созданная с помощью mergekit методом SLERP из freewheelin/free-evo-qwen72b-v0.8-re и abacusai/Smaug-72B-v0.1. Она предназначена для генерации текста и диалоговых сценариев. Модель построена на плотной архитектуре Llama с классом LlamaForCausalLM, содержит 71 млрд параметров и поддерживает контекст до 32 768 токенов. Весовой формат репозитория — safetensors; библиотека для работы — Transformers. Объединение сочетает две предварительно обученные языковые модели, включая Smaug-72B-v0.1, предназначенную для диалога, ответов на вопросы и рассуждений. В карточке не приведены отдельные результаты оценки качества или специализированные области применения. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Experiment26Yam_OgnoExperiment27 — слитая текстовая модель на базе двух моделей: automerger/Experiment26Yam-7B и automerger/OgnoExperiment27-7B. Она предназначена для генерации текста и диалогов. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

Gemma-4-31B-CoreAI — конвертация модели Google Gemma 4 31B, выполненная сообществом пользователем mlboydaisuke для запуска в формате .aimodel на Apple Core AI. Модель предназначена для локальной генерации текста, диалогов, суммаризации и других задач, поддерживаемых текстовыми языковыми моделями, полностью на устройстве без обязательной передачи данных в облако. Она ориентирована на компьютеры Mac с Apple Silicon и интеграцию через CoreAIKit или совместимые инструменты Core AI. Это плотный текстовый декодер Gemma 4 с 60 слоями, скрытым размером 5376, 32 головами внимания и словарём из 262 144 токенов. Архитектура использует чередование скользящего и глобального внимания в соотношении 5:1; размер головы составляет 256 для скользящего внимания и 512 для глобального. Модель подвергнута int4-квантизации на основе QAT-релиза Google, занимает около 19 ГБ и имеет заявленную скорость декодирования 17,2 токена в секунду на M4 Max. Поддерживаются только текстовые входы и выходы; сведения о языках и максимальном размере контекста в README не указаны. К сильным сторонам относятся запуск крупной 31-миллиардной модели на стандартном конвейерном движке Core AI, выполнение вычислений локально на GPU или Neural Engine и отсутствие необходимости в специальной модификации движка благодаря пользовательскому Metal-ядру для декодирования внимания. Ограничения включают высокие требования к памяти, размер загрузки около 20,1 ГБ, совместимость прежде всего с Mac-классом устройств и отсутствие заявленной поддержки iPhone. Модель распространяется по лицензии Apache 2.0.

zeromodels публикует версию Gemma 4 E2B IT в формате Keras 3. Это конверсия весов Google Gemma 4, реализованная для запуска с TensorFlow, Torch и JAX; в репозитории веса хранятся в bfloat16. По README, модель принимает изображения, аудио и текст и выдаёт текст, а также поддерживает текстовый диалог через Gemma4Processor и инструменты генерации текста. Указан размер 5,1 млрд параметров с эмбеддингами и 2,3 млрд эффективных параметров; базовая модель — google/gemma-4-E2B-it. Семейство Gemma 4 использует скользящее окно внимания на 512 токенов для варианта E2B, но полный контекст модели в карточке не уточнён. Модель подходит для диалогов, ответов по изображениям и аудио и генерации текста. README отсылает к карточке Google за подробностями о модели и условиях использования; лицензия репозитория — Apache 2.0.

DavidAU разработал The-DECKARD-HERETIC-UNCENSORED-Thinking — дообученную модель Google Gemma 4 E4B Instruct с настройкой на внутренних датасетах и изменённым шаблоном чата, который по умолчанию включает режим рассуждения. Модель предназначена для диалога, творческого письма, ролевых сценариев, генерации историй и кода. Автор сообщает о поддержке текста, изображений, видео и аудио, а также контекста до 128 тысяч токенов. Gemma 4 E4B описана как модель примерно с 8 млрд параметров, из которых около 4,5 млрд активны; веса этой версии представлены в формате bfloat16 и safetensors. Карточка приводит внутренние результаты сравнения с базовой моделью, но отмечает, что статистика ещё собирается и instruct-режим иногда показывает лучшие результаты, чем thinking. Использование чата в режиме instruct требует отдельного шаблона. Лицензия — Apache 2.0.

GLM-4.5-Air-8bit — языковая модель для генерации текста, разработанная Z.ai и представленная в формате MLX сообществом mlx-community. Модель конвертирована из zai-org/GLM-4.5-Air с использованием mlx-lm версии 0.26.0 и предназначена для запуска и инференса через библиотеку MLX, в частности с помощью mlx-lm. Модель относится к классу text-generation и поддерживает английский и китайский языки. Вариант 8bit использует 8-битное представление весов, что ориентировано на более эффективное размещение и запуск модели в совместимой среде. README не содержит сведений о точной архитектуре, количестве параметров, размере контекста, поддерживаемых модальностях помимо текста, результатах оценки или конкретных прикладных сценариях. Для использования требуется библиотека mlx-lm; предусмотрен интерфейс чат-шаблона и генерации текста. Сильной стороной модели является адаптация к формату MLX и наличие готового способа запуска. Ограничения и характеристики качества в README не описаны, поэтому их нельзя достоверно оценить. Модель распространяется по лицензии MIT.

GLM-4.7-Flash-MLX-8bit — это 8-битно квантованная версия языковой модели GLM-4.7-Flash, разработанной компанией zai-org. Квантование выполнено командой LM Studio с использованием MLX и ориентировано на запуск на устройствах с Apple Silicon. Модель предназначена для генерации текста и доступна в экосистеме Transformers. Модель поддерживает английский и китайский языки и относится к моделям text generation. Ключевое преимущество — оптимизация в формате MLX и 8-битное представление, что делает её подходящей для локального использования на Apple Silicon при сниженных требованиях к памяти по сравнению с полноразмерной версией. В README не указаны точный размер модели, архитектура, длина контекста, мультимодальные возможности и результаты тестирования, поэтому её производительность и область применения нельзя оценить подробнее. Лицензия модели — MIT.

GLM-OCR — компактная мультимодальная модель распознавания текста и понимания документов от команды Z.ai; репозиторий unsloth/GLM-OCR содержит дообученную версию zai-org/GLM-OCR. Модель построена на архитектуре GLM-V: использует визуальный энкодер CogViT, межмодальный связующий модуль и декодер GLM-0.5B. В карточке указано около 0,9 млрд параметров; модель принимает изображения и формирует текстовый результат. Модель предназначена для OCR сложных документов, извлечения текста, формул и таблиц, а также структурированных сведений по заданной JSON-схеме. В README заявлена двухэтапная обработка с анализом макета и распознаванием, а также результаты на OmniDocBench V1.5 и скорость обработки документов. Поддерживаемые языки: китайский, английский, французский, испанский, русский, немецкий, японский и корейский. Лицензия — MIT. Для извлечения структурированных данных необходимо задавать ожидаемую JSON-схему; качество может зависеть от сложности макета и содержимого изображения.

Это GGUF-квантизированная версия Josiefied-Qwen3-14B-abliterated-v3, разработанной Goekdeniz-Guelmez. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска в LM Studio, llama.cpp и других совместимых проектах. В основе лежит модель Qwen3 размером 14 млрд параметров. Доступны варианты от BF16 до различных 8-, 6-, 5-, 4- и 3-битных форматов GGUF, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Размер файлов варьируется примерно от 8,11 до 29,54 ГБ. Для общения используется шаблон с ролями system, user и assistant через специальные токены ChatML. Сведения о поддерживаемых языках, длине контекста и мультимодальности в README не указаны; по представленным данным модель относится к текстовым. Сильной стороной являются многочисленные варианты квантизации, включая рекомендованные конфигурации с высоким качеством и более компактные варианты для систем с ограниченной оперативной памятью. Ограничения зависят от выбранного формата: более сильное сжатие уменьшает требования к ресурсам, но может снижать качество генерации. Лицензия в README не указана, поэтому условия использования необходимо уточнять в исходном репозитории модели Goekdeniz-Guelmez.

GPT4 Alpaca LoRA 30B HF — версия модели Chansung GPT4 Alpaca 30B, подготовленная TheBloke с объединёнными весами LoRA и исходной Llama 30B. Это плотная авторегрессионная модель семейства Llama с 32,3 млрд параметров, предназначенная для диалогов и выполнения инструкций на естественном языке. Модель принимает текст и генерирует текст; в карточке указан английский язык, а максимальный контекст составляет 2048 токенов. Модель подходит для чат-ботов, ответов на инструкции и текстовых запросов. README указывает, что для запуска требуется не менее 60 ГБ видеопамяти. Репозиторий содержит веса PyTorch; лицензия обозначена как other, поэтому условия использования следует проверять в исходных лицензиях Llama и обученной модели.

Hercules-6.0-Llama-3.1-8B — дообученная Locutusque языковая модель на основе Llama-3.1-8B с архитектурой LlamaForCausalLM и 7,5 млрд параметров. Она предназначена для диалогов и выполнения инструкций, включая многошаговые запросы и вызовы функций, в научных и технических областях: биологии, химии, физике, математике, медицине и информатике. Модель поддерживает контекст до 131 072 токенов и рассчитана на английский и китайский языки. Её можно использовать для научно-технических чат-ботов, учебных помощников и генерации кода с вызовом функций. Карточка указывает лицензию Llama 3.1. Среди ограничений — токсичные примеры в обучающих данных, риск галлюцинаций и фактических ошибок, а также возможность злоупотребления функциями вызова инструментов.

HunyuanOCR-1.5 — лёгкая специализированная зрительно-языковая модель Tencent для распознавания и анализа текста на изображениях. Она объединяет разбор документов, поиск и распознавание текста на изображении, извлечение информации и перевод текста с изображений в одной модели семейства Hunyuan-VL. Репозиторий также содержит архивную версию HunyuanOCR-1.0 и черновую модель DFlash для ускорения декодирования. Модель предназначена для OCR-сценариев, включая обработку документов, таблиц и формул, распознавание малоресурсных и древних письменностей, а также ответы на вопросы по нескольким изображениям. Контекстное окно расширено до 128K токенов, а максимальное разрешение изображений — до 4K. DFlash использует спекулятивное декодирование для ускорения генерации длинных структурированных результатов с сохранением распределения выходов целевой модели. Для инференса предусмотрены Transformers, vLLM и llama.cpp; README указывает поддержку серверных GPU и развёртывания на CPU, потребительских GPU и ноутбуках через llama.cpp с преобразованными весами GGUF. Метаданные указывают формат Safetensors и библиотеку Transformers. Карточка заявляет мультиязычную поддержку, в частности английского и китайского. Лицензия обозначена как other, без уточнения условий в предоставленных данных.

Myric/K2-Horizon-MoVA-36B-A4B-APEX-GGUF — это квантизированная GGUF-версия модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной Institute of Foundation Models при MBZUAI в рамках линии LLM360/K2. Модель предназначена для генерации текста и локального запуска через llama.cpp; она не связана с Kimi K2 от Moonshot. Распространяется по лицензии Apache-2.0. Модель содержит около 37,445 млрд параметров и использует архитектуру Mixture of Experts: 48 слоёв, включая 3 плотных, 100 FFN-экспертов с выбором top-8 и одним общим экспертом. Её отличительная особенность — механизм MoVA, или Mixture-of-Values Attention: в 45 слоях используется маршрутизация по 64 value-экспертам с выбором top-4. Конфигурация внимания включает 32 головы и 8 KV-голов, размер головы — 128. Контекстное окно составляет 524 288 токенов, словарь — 250 624 токена. Поддержка языков в README не указана. Доступны три варианта квантизации: i-quality размером 21,05 ГиБ, compact размером 16,69 ГиБ и mini размером 14,86 ГиБ. Compact рекомендуется как наиболее сбалансированный вариант по размеру и качеству; i-quality обеспечивает минимальную измеряемую потерю, а mini подходит при жёстких ограничениях памяти. По данным тестов, все варианты сохранили результат 9/9 и 142/142 в указанном agentic-тесте, однако mini демонстрирует заметно большее ухудшение perplexity относительно BF16. Для запуска требуется специальная ветка model/K2Horizon форка MBZUAI-IFM/llama.cpp; стандартная upstream-версия llama.cpp эту архитектуру не загружает. Это существенно ограничивает совместимость и требует сборки специализированного программного обеспечения. Квантизация учитывает чувствительность маршрутизаторов MoE и MoVA, поэтому соответствующие веса сохранены в F32 для уменьшения риска ошибочного выбора экспертов.

unsloth/LFM2-350M-GGUF — GGUF-квантизированная версия модели LFM2-350M, разработанной Liquid AI и подготовленной Unsloth. Это компактная гибридная языковая модель для генерации текста и локального развертывания на периферийных устройствах: смартфонах, ноутбуках и автомобилях. Она рассчитана на работу на CPU, GPU и NPU, а также на сценарии с ограниченными ресурсами. Модель содержит около 354,5 млн параметров, 16 слоёв, включая 10 сверточных и 6 attention-слоёв, поддерживает контекст до 32 768 токенов и словарь из 65 536 токенов. Архитектура использует multiplicative gates и короткие свёртки. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Модель предназначена для agentic-задач, извлечения данных, RAG, творческого письма и многошаговых диалогов; для узких прикладных сценариев рекомендуется дообучение. К сильным сторонам относятся высокая скорость обучения и инференса, эффективность по памяти и гибкость аппаратного развертывания. Ограничения связаны с небольшим размером: модель не рекомендуется для задач, требующих обширных знаний или программирования. Для llama.cpp в README указано использовать chat template через параметр --jinja. Лицензия — LFM Open License v1.0.

Apollo Raines выпустил поведенчески модифицированный вариант Meta Llama 3.1 8B Instruct. Модель предназначена для диалогов и генерации текста с более короткими и прямыми ответами: разработчик сообщает, что убрал многословные вступления и заполнители, сохранив точность и полезность. Изменения внесены инструментом jBlaze непосредственно в веса; README уточняет, что дополнительного обучения не проводилось. Архитектура — LlamaForCausalLM, плотная трансформерная языковая модель; в метаданных указано 7,5 млрд параметров и контекст до 131 072 токенов. Репозиторий содержит веса Safetensors, а README указывает точность bf16. Модель ориентирована на английский язык и поддерживает чатовый интерфейс вызова инструментов. Разработчик характеризует опубликованный вариант как демонстрационный и намеренно ослабленный относительно полной версии. Модель распространяется по лицензии Llama 3.1; применяйте её с учётом условий этой лицензии.

Llama-Thinker-3B-Preview2 — языковая модель prithivMLmods для генерации текста и диалогов. Это плотная авторегрессионная трансформерная модель семейства Llama с архитектурой LlamaForCausalLM и 3,2 млрд параметров; в карточке указана связь дообучения с prithivMLmods/Llama-Thinker-3B-Preview. README описывает её как предварительно обученную и дообученную по инструкциям модель на основе Llama 3.2, обученную на синтетических данных с длинными цепочками рассуждений; для настройки упоминаются SFT и RLHF. Модель предназначена для многоязычных диалогов, ответов на запросы и задач, требующих рассуждений. Она принимает текстовые запросы и генерирует текст; карточка указывает контекст до 131 072 токенов, а теги и README подтверждают поддержку английского и заявляют многоязычное применение без перечисления других языков. Доступны веса в safetensors и использование через Transformers; README также описывает запуск квантованных вариантов GGUF через Ollama. Модель распространяется по лицензии CreativeML Open RAIL-M. Заявления о сложных рассуждениях и многоязычности приведены в карточке, но конкретные языки, результаты оценок и независимые показатели качества не указаны.

LLM Compiler 7B — языковая модель, разработанная Meta и представленная в формате GGUF-представлением legraphista. В карточке указано, что она основана на facebook/llm-compiler-7b. Однако README не содержит подробных сведений об архитектуре, точном числе параметров, модальностях, поддерживаемых языках, размере контекста или специфических сценариях применения. По названию и базовой модели можно заключить лишь, что это 7-миллиардная большая языковая модель общего назначения, предназначенная для задач обработки и генерации текста, но конкретные возможности данного варианта не описаны. Ключевым практическим свойством является формат GGUF, обычно используемый для локального запуска и квантованных вариантов моделей, однако степень квантования и требования к ресурсам в README не указаны. Сильные стороны, ограничения и результаты тестирования для этой конкретной сборки также не приведены. Использование регулируется лицензией Meta LLM Compiler License и связанной с ней Acceptable Use Policy. Лицензия предоставляет ограниченные неисключительные права на использование, копирование, распространение и создание производных работ, но устанавливает дополнительные условия: при распространении необходимо включать текст соглашения и заметную маркировку «Built with LLM Compiler», сохранять уведомление об авторских правах, а при создании или улучшении распространяемой AI-модели начинать её название с «LLM Compiler». Также запрещено использовать материалы или их результаты для улучшения другой большой языковой модели.

Luxe_4B — плотная языковая модель семейства Llama от FourOhFour, созданная при участии участников Anthracite. Это производная модели Minitron: она прошла восстановительное дообучение и настройку для следования инструкциям на 70 млн качественных токенов. Модель предназначена для работы в роли универсального помощника и для ролевых диалогов. Модель содержит 3,9 млрд параметров, поддерживает контекст до 131 072 токенов и распространяется в формате Safetensors для Transformers. В README указано, что обучение проходило с контекстом 8 тыс. токенов; целевой контекст из метаданных больше. В карточке заявлен английский язык. Лицензия — Apache-2.0.

duyntnet/Mistral-7B-OpenOrca-imatrix-GGUF — набор квантизированных версий языковой модели Mistral-7B-OpenOrca, опубликованный пользователем duyntnet. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции и вопросы на английском языке. В карточке указано, что она доступна в формате GGUF с использованием imatrix-квантизации и предназначена для запуска средствами, поддерживающими этот формат. Исходная модель использует архитектуру Mistral с 7 млрд параметров и обучена или дообучена организацией Alignment Lab AI на базе Open-Orca; точные сведения о процедуре обучения в карточке не приведены. Поддерживается формат ChatML с токенами <|im_start|> и <|im_end|>, а также шаблон чата Transformers. Это упрощает использование модели в совместимых интерфейсах и библиотеках, но для инференса может потребоваться версия Transformers из репозитория разработки. Основные ограничения — заявлен только английский язык, отсутствуют данные о точном размере контекста, производительности, качестве на тестах и рекомендуемых параметрах запуска. Лицензия обозначена как other, без дополнительных условий в предоставленной карточке, поэтому конкретные права и ограничения использования требуют проверки по исходной лицензии модели.

Mocha-Dare-7b-ex — языковая модель, созданная объединением нескольких предварительно обученных моделей с помощью mergekit и метода DARE TIES. В качестве основы использована Mistral-7B-v0.1; в объединение также вошли Open-Orca/Mistral-7B-OpenOrca, Mistral-7B-v0.1-Open-Platypus и WizardMath-7B-V1.1. Модель предназначена для генерации текста и может применяться в диалогах, ответах на вопросы, решении задач по математике и общих инструкциях. Она построена на плотной архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Доступны веса в формате safetensors; библиотека из метаданных — Transformers. В карточке не описаны результаты оценки качества или отдельные гарантии для конкретных сценариев. Указана лицензия CC BY 4.0.

OpenSourceEnjoyer опубликовал вариант Nous-Hermes-2-Mistral-7B-DPO, дообученный с помощью Unsloth и библиотеки Hugging Face TRL. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогового общения. Модель принимает текст и генерирует текст; в метаданных указаны английский язык и контекст длиной до 32 768 токенов. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Карточка не приводит подробностей о данных обучения или результатах оценки, поэтому качество ответов и устойчивость к ошибочным или неоднозначным запросам по ней определить нельзя.

NVIDIA-Nemotron-Nano-12B-v2-VL-NVFP4-QAD — мультимодальная авторегрессионная vision-language модель NVIDIA на базе оптимизированной архитектуры Transformer. В состав входят визуальный энкодер C-RADIOv2-H и языковая модель NVIDIA-Nemotron-Nano-12B-v2. Эта версия квантизирована в формате FP4 с применением TensorRT Model Optimizer и обучалась с использованием Quantization-aware Distillation для сохранения качества при низкой точности вычислений. Модель предназначена для обработки одного изображения вместе с текстовым запросом и генерации текстовых ответов. Основные сценарии включают суммаризацию изображений, анализ текста и изображений, распознавание текста (OCR), интерактивные вопросы и ответы по изображениям, а также рассуждения по цепочке мыслей. Поддерживаются немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский, китайский и английский языки. Контекст и длина генерируемой последовательности составляют до 128K токенов. Изображения должны быть в формате RGB; прозрачность не поддерживается. Максимальное разрешение определяется ограничением в 12 тайлов размером 512×512 пикселей. К сильным сторонам относятся мультиязычность, поддержка широкого набора задач анализа изображений и оптимизация FP4 для NVIDIA GPU. Ограничения включают поддержку только одного изображения за запрос, требования к совместимому аппаратному обеспечению и программной среде: заявлены Linux, vLLM и микропроцессорная архитектура B100 SXM. Модель рассчитана на глобальное развёртывание и использование корпоративными AI-клиентами. Условия использования регулируются NVIDIA Open License Agreement.

Ocean-OCR — мультимодальная языковая модель примерно на 3,1 млрд параметров из семейства Ocean, предназначенная для распознавания текста на изображениях и других задач OCR. В карточке авторы описывают её как модель 3B и заявляют высокие результаты в различных сценариях распознавания текста при сопоставимом с общими моделями уровне понимания обычных задач. Модель использует Native Resolution ViT, чтобы принимать изображения с переменным разрешением, и обучалась на большом наборе OCR-данных. Метаданные указывают архитектуру OceanForCausalLM, формат PyTorch и контекст 8192 токена; также заявлены чат и интерфейс вызова инструментов. В карточке указаны английский и китайский языки. Лицензия в предоставленных данных не указана.