I.14Автоматизация процессов и AI-агенты

Salamandra-7B-Instruct-Aina-Hack — разговорная языковая модель, разработанная подразделением языковых технологий Barcelona Supercomputing Center для мероприятия AinaHack, посвящённого созданию ИИ-инструментов для администрации Каталонии. Это инструкция-настроенная версия Salamandra-7B: decoder-only трансформер семейства Llama с 32 слоями и примерно 7 млрд параметров. Модель принимает текст и генерирует текст, использует шаблон ChatML и поддерживает контекст до 8192 токенов. Модель предназначена для диалоговых помощников и генерации текста на европейских языках, а также может служить основой для прикладной донастройки. Семейство Salamandra обучалось с нуля на многоязычном корпусе из 35 европейских языков и программного кода; карточка этой версии описывает её как proof of concept с предварительной настройкой следования инструкциям. Модель распространяется под лицензией Apache 2.0. У модели выявлены социальные и когнитивные смещения, а анализ охватывает не все поддерживаемые языки. Карточка предупреждает, что модель не прошла RLHF-выравнивание для фильтрации чувствительных тем и может создавать вредный или неподходящий контент; перед применением в продуктах необходимы оценка рисков и дополнительная настройка безопасности.

jondurbin выпустил эту плотную авторегрессионную модель семейства LLaMA с 12,9 млрд параметров, дообученную на синтетических данных, созданных GPT‑4. Она генерирует текст в формате диалога Vicuna и предназначена для ответов на вопросы, рассуждений, работы с викторинами, математическими задачами, кодом, заданиями с выбором ответа и пропусками, а также для ответов по предоставленному контексту. Особенность модели — обучение следовать заданному контексту и по возможности ограничивать ответы сведениями из него, чтобы уменьшить галлюцинации. Репозиторий содержит веса PyTorch; заявленное метаданными контекстное окно — 4096 токенов, однако автор предупреждает, что работа на такой длине не проверена и качество может снижаться за пределами примерно 2048 токенов. Модель основана на LLaMA, для которой README описывает использование шаблона Vicuna; лицензия CC BY-NC 4.0 допускает использование с ограничением на коммерческое применение.

unsloth/DeepSeek-V3-0324-GGUF-UD — это набор динамически квантованных версий DeepSeek-V3-0324, подготовленный Unsloth на базе модели deepseek-ai/DeepSeek-V3-0324 в формате GGUF. Модель предназначена для локального запуска через llama.cpp, LM Studio, Open WebUI и другие совместимые фреймворки инференса. В метаданных указано, что основной язык модели — английский. Доступны варианты с эффективной разрядностью от 1,78 до 4,5 бит и размером файлов примерно от 192 до 384 ГБ. Квантизация Dynamic v2.0 выполняется выборочно; в README заявлено, что это позволяет сохранить более высокую точность по сравнению со стандартными методами квантизации. Модель использует архитектуру MoE, что отражено в описании разрядности компонентов смеси. Версии 2,42 бит IQ2_XXS и 2,71 бит Q2_K_XL рекомендованы как наиболее удачные по соотношению производительности и размера; для запуска желательно иметь не менее 180 ГБ совокупной VRAM и RAM. Сильными сторонами являются возможность локального использования крупной модели в распространённых GGUF-фреймворках и оптимизированная динамическая квантизация. Ограничениями выступают чрезвычайно высокие требования к памяти и большой объём файлов. Варианты IQ1_S и IQ1_M обозначены как предварительные: по результатам тестирования они обычно работают нормально, но иногда хуже справляются с генерацией кода. В метаданных указана лицензия MIT.

DiscoLM 70b — языковая модель команды DiscoResearch, обученная Бьёрном Плюстером на базе LeoLM 70B. Это плотная авторегрессионная модель семейства Llama 2 с 68,7 млрд параметров и контекстом до 8192 токенов. После дополнительного предобучения на 65 млрд токенов немецкого текста модель дообучили на наборах инструкций и диалогов, включая SlimOrca, OpenHermes, MetaMathQA и UltraChat DE. Модель предназначена для генерации текста и ответов на инструкции и подходит для диалогов, письма, рассуждений, решения математических задач и написания кода. Усилена поддержка немецкого языка при сохранении возможностей английского; карточка также приводит результаты тестов по нескольким задачам. Разработчики называют модель ранней альфа-версией и предупреждают о возможном загрязнении тестовых данных. Для использования заявлена лицензия Llama 2 с её ограничениями и ограничениями обучающих наборов; авторы указывают исследовательское назначение.

google/gemma-2b-AWQ — AWQ-квантизированная версия базовой модели Gemma-2B, разработанной Google. Это компактная decoder-only большая языковая модель с открытыми весами, обученная на основе технологий, использованных при создании Gemini. Модель работает с текстом и ориентирована преимущественно на английский язык. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений, работы с программным кодом и математическими запросами. Она принимает текстовые строки, включая вопросы, инструкции и документы, а возвращает сгенерированный английский текст. Небольшой размер делает её подходящей для запуска на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре с ограниченными ресурсами; также предусмотрено последующее дообучение. При обучении использовалось около 6 триллионов токенов из веб-документов, кода и математических материалов с применением фильтрации вредоносного и чувствительного контента. README не указывает размер контекстного окна и конкретные характеристики архитектуры помимо класса decoder-only. Это базовая, а не instruction-tuned версия, поэтому для диалоговых сценариев и точного следования инструкциям могут потребоваться дополнительное дообучение или специальное форматирование запросов. Квантизация AWQ снижает требования к ресурсам, но её влияние на качество зависит от задачи и среды запуска. Использование регулируется лицензией Google Gemma Terms of Use; для доступа на Hugging Face требуется принять условия лицензии. Лицензия указана как gemma-terms-of-use.

Gemma-3-12b-it-GGUF — квантизированная GGUF-версия мультимодальной модели Gemma 3 12B Instruct, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалогов, генерации и анализа текста, а также обработки изображений с использованием соответствующего мультимодального проектора. Модель содержит 12 миллиардов параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размеры файлов составляют примерно от 4,77 до 23,5 ГБ. Для обработки изображений требуется файл gemma-3-12b-it-mmproj-f16.gguf, изображения необходимо нормализовать до разрешения 896×896, при этом каждое изображение кодируется в 256 токенов. README не указывает поддерживаемые языки. Основные преимущества — большой контекст, поддержка текста и изображений и возможность локального запуска через LlamaEdge. Качество и требования к ресурсам зависят от выбранной квантизации: малые варианты экономичнее, но могут заметно терять в качестве, тогда как Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые. Для запуска через LlamaEdge требуется версия 0.18.5 или новее. Модель распространяется по лицензии Gemma.

zaakirio/gemma-4-12b-it-uncensored-GGUF — набор GGUF-квантизаций модели zaakirio/gemma-4-12b-it-uncensored, разработанной на основе Google Gemma 4 12B Instruct. Это декензурированная версия, полученная методом Heretic-abliteration, ориентированная на диалоговые сценарии и запуск через llama.cpp. Модель предназначена для генерации текста, общения, анализа изображений и аудио, а также обработки видео через выборку кадров и аудиодорожку. Модель представляет собой encoder-free unified multimodal decoder-only transformer с 12 млрд параметров и контекстным окном до 256K токенов. Поддерживаются текст, изображения, аудио и видео; для мультимодального ввода требуется отдельный проектор mmproj-gemma-4-12B-it-bf16.gguf. Доступны варианты от Q2_K до Q8_0 и f16 размером примерно от 4,50 до 22,20 ГБ. Опциональный MTP-драфтер может ускорить генерацию на GPU. Поддерживается reasoning-режим, а также системная роль. Сильные стороны модели — сочетание мультимодальности, большого контекста, различных уровней квантизации и совместимость с llama.cpp. Обработка аудио в llama.cpp отмечена как экспериментальная, поэтому качество распознавания может быть сниженным; обработка видео зависит от клиента, выполняющего извлечение кадров. Языки модели явно не перечислены, однако в README подтверждена точная многоязычная транскрипция речи. Лицензия указана как gemma.

GLM-4.5-Air-bf16 — версия GLM-4.5-Air, подготовленная сообществом mlx-community для запуска в MLX на устройствах Apple с поддержкой MLX. Репозиторий преобразован из zai-org/GLM-4.5-Air с помощью mlx-lm 0.28.2; по метаданным, модель относится к семейству GLM-4 MoE и содержит 8,5 млрд параметров. Лицензия — MIT. Модель предназначена для генерации текста в диалоговом режиме. Базовая GLM-4.5-Air рассчитана на рассуждения, программирование и работу интеллектуальных агентов с инструментами; в этой карточке подтверждены диалоговая возможность и задача text-generation. Контекстное окно — 131 072 токена. Поддерживаемые языки по карточке — английский и китайский. Преобразованная версия упрощает запуск модели в экосистеме MLX. Доступные сведения не подтверждают отдельную оценку качества именно этой сборки или её поддержку вызова инструментов; назначение инструментов указано для базовой модели.

peasantsmith/gpt-oss-120b-PS-IQ4_NL.gguf — это квантизированная версия модели gpt-oss-120b от OpenAI, подготовленная PeasantSmith и BlackFrost AI в формате GGUF для задач генерации текста. Модель использует архитектуру mixture-of-experts; исходные данные README не содержат точных сведений о числе параметров активной части, поддерживаемых языках и модальностях, а также о максимальном контексте. Указано, что вариант IQ4_NL занимает около 71,75 ГБ и имеет показатель 4,91 BPW, поэтому для запуска требуется значительный объём оперативной или видеопамяти. Модель предназначена для локального применения в совместимых средствах инференса, включая llama.cpp, и подходит для диалоговой генерации, ответов на фактические вопросы, программирования и задач, требующих работы с контекстом до 8192 токенов в приведённых тестах. Разработчики сообщают об успешной проверке генерации, реализации LRU-кэша, извлечения значения из контекста длиной 8K и отсутствии ошибок выполнения. Для работы требуется учитывать специальный формат ответов harmony, а результаты тестирования не заменяют независимую оценку качества. Рекомендуемые параметры — temperature 1.0, top-k 0 и top-p 1.0. Это производная квантизация, поэтому лицензия и условия использования определяются лицензией исходной модели gpt-oss-120b от OpenAI и должны быть проверены перед распространением.

Это набор GGUF-квантизаций модели gradientai/Llama-3-8B-Instruct-Gradient-4194k, подготовленный и опубликованный командой featherless-ai-quants. Базовая модель относится к семейству Llama 3 с размером 8 млрд параметров и предназначена для генерации текста, включая работу в инструкционном режиме. README не уточняет разработчика базовой модели, архитектурные детали, языки и поддерживаемые модальности. Модель рассчитана на сценарии локального или совместимого с GGUF запуска, где требуется выбрать баланс между качеством, скоростью и потреблением памяти. Доступны варианты Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0; их размер варьируется примерно от 3,0 до 8,1 ГБ. README указывает контекст 4194k в идентификаторе базовой модели, однако не подтверждает фактическую длину контекста. Сильной стороной набора является широкий выбор уровней квантизации и формат GGUF, позволяющий адаптировать модель под различные аппаратные ограничения. Более компактные варианты требуют меньше памяти, но потенциально уступают старшим вариантам по качеству; конкретные результаты производительности и качества в README не приведены. Лицензия и условия использования не указаны, поэтому их необходимо проверять в документации базовой модели и репозитории.

Huihui-Qwen3.8-27B-Abliterated-INT4-W4A16-AutoRound — производная мультимодальная модель, опубликованная LeTechLead на основе Huihui-Qwen3.8-27B-abliterated и Qwen3.8-27B от Qwen. Она предназначена для генерации и понимания текста, а также обработки изображений и видео в сценариях, поддерживаемых архитектурой Qwen3.5 и установленными библиотеками Transformers или vLLM. Модель сохраняет аблированное поведение исходной версии и может использоваться для исследований, оценки и контролируемых приложений. Архитектура указана как Qwen3_5ForConditionalGeneration; текстовая часть содержит 64 слоя, скрытое представление размером 5120, словарь из 248 320 токенов и максимальный контекст до 262 144 позиций. В конфигурации предусмотрены 48 слоёв с linear attention и 16 слоёв с полной attention, MTP-путь и vision tower. Языки явно не указаны. Языковая часть и MTP-путь квантизованы методом AutoRound до INT4 в формате W4A16 с размером группы 128, тогда как vision tower сохраняет BF16. Индексированные веса представляют около 6,28 млрд параметров, размер репозитория — около 19,02 ГБ. Ключевые преимущества модели — мультимодальность, длинный контекст и снижение требований к памяти благодаря 4-битной квантизации. Ограничения включают зависимость от совместимых версий Transformers или vLLM, требований доступного оборудования и возможное ухудшение характеристик из-за квантизации. Модель может генерировать чувствительный, спорный или небезопасный контент, поэтому результаты требуют проверки. Указана лицензия Apache-2.0; пользователи несут ответственность за соблюдение законодательства, правил платформ и организационных политик.

Infinity-Instruct-3M-0625-Qwen2-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), созданная дообучением Qwen2-7B на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0625 с supervised instruction tuning, без RLHF. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров; она принимает текст и ведёт диалог по шаблону Qwen2-7B-Instruct. Заявленная длина контекста — 131 072 токена. Модель предназначена для выполнения инструкций, ответов на вопросы и многоходового диалога; авторы сообщают о результатах на AlpacaEval 2.0 и MT-Bench, включая вопросы по коду, математике и повседневные диалоги. Поддерживаемый язык в метаданных — английский. Модель распространяется по лицензии Apache-2.0, однако карточка проекта ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение. Авторы также предупреждают, что точность ответов не гарантируется.

Карточка модели muhamad-geosurge/invert-polarity-6f435ef6-ae86-4cda-8529-4ab6f5393b5b на Hugging Face совпадает с карточкой google/gemma-3-12b-it, поэтому описание составлено по ней. Gemma 3 12B IT — мультимодальная модель с открытыми весами от Google, дообученная для следования инструкциям на основе google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; относится к семейству Gemma 3 и доступна в формате safetensors для Transformers. Модель предназначена для диалоговых приложений, ответов на вопросы и задач понимания изображений, а также для создания и обобщения текста. Контекстное окно — до 128 тысяч токенов, поддерживается более 140 языков. Размер модели — 12 млрд параметров. Модель подходит для извлечения сведений из изображений, составления черновиков, суммаризации и исследовательских задач. Google отмечает, что ответы могут содержать фактические ошибки, отражать предвзятость обучающих данных и хуже справляться со сложными открытыми запросами, языковыми нюансами и задачами, требующими здравого смысла. Лицензия — Gemma; при использовании следует соблюдать условия лицензии и политику запрещённого использования Gemma.

Kai-30B-Instruct-i1-GGUF — набор квантованных GGUF-версий модели Kai-30B-Instruct, разработанной NoesisLab и квантованной mradermacher. Модель ориентирована на генерацию текста, следование инструкциям, математические и логические рассуждения, программирование и другие задачи, связанные с текстом. В метаданных также указана тематика ads и distillation, однако подробности соответствующей специализации не приведены. Базовая модель содержит около 30 миллиардов параметров; архитектура и размер контекста в README не указаны. Поддерживаемый язык — английский. Модель работает с текстом и поставляется в различных вариантах квантования, включая IQ1–IQ4, Q2–Q6 и другие форматы. Доступны версии с разным компромиссом между размером, скоростью и качеством: например, i1-Q4_K_M отмечена как быстрая и рекомендуемая, а i1-Q4_K_S — как оптимальная по соотношению размера, скорости и качества. Наиболее компактные варианты имеют заметно более низкое качество. Основные преимущества — возможность локального запуска в формате GGUF и широкий выбор вариантов квантования под доступные ресурсы. Ограничения включают возможное ухудшение качества при низких уровнях квантования, отсутствие данных о контекстном окне, мультимодальности, результатах оценки и языках помимо английского. Лицензия базовой модели — Apache-2.0; README не уточняет, распространяются ли квантованные файлы на дополнительных условиях.

L3.1-Moe-2x8B-v0.2 — объединённая модель Mixture of Experts, созданная с помощью mergekit-moe на основе Joseph717171/Llama-3.1-SuperNova-8B-Lite_TIES_with_Base и ArliAI/Llama-3.1-8B-ArliAI-RPMax-v1.2. Разработчик объединил две модели и указывает, что проект вдохновлён mlabonne/Beyonder-4x7B-v3. Модель предназначена для генерации текста и диалогов. Она использует архитектуру Mixtral MoE, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В метаданных указана библиотека Transformers и формат весов safetensors. В README приведены результаты Open LLM Leaderboard, включая средний балл 28,59 и IFEval 73,48. Модель распространяется по лицензии Llama 3.1. README не описывает поддерживаемые языки и специальные ограничения применения; качество ответов следует оценивать для конкретного сценария.

SC117 подготовил квантизированные GGUF-варианты Ling-3.0-tiny с удалённым направлением отказа (abliteration). Базовая модель inclusionAI/Ling-3.0-tiny — гибридная MoE-модель на архитектуре BailingMoE: 7,9 млрд параметров всего и около 1,3 млрд активных на токен. Варианты APEX применяют смешанную точность с учётом типа и чувствительности тензоров; для калибровки использовались данные чатов, кода, рассуждений и вызова инструментов. Модель предназначена для диалоговой генерации текста, рассуждений, программирования, перевода и других типичных задач языковой модели. Abliteration уменьшает частоту отказов; автор сообщает о 15 отказах из 100 запросов против 98 из 100 у исходной модели и об отсутствии заметного ухудшения в выборочных проверках математики, логики, кода, перевода и знаний. Для запуска подходят llama.cpp и Ollama; для поддержки архитектуры BailingMoE3 требуется llama.cpp версии b10470 или новее. Модель распространяется по лицензии MIT. README не сообщает перечень поддерживаемых естественных языков и длину контекста.

meta-llama/Llama-3.1-405B-FP8 — крупная языковая модель семейства Llama 3.1, разработанная Meta. Она предназначена для генерации текста и может применяться в задачах обработки естественного языка, включая создание и преобразование текстового контента. Модель ориентирована на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Из доступных данных следует, что модель содержит 405 миллиардов параметров и представлена в формате FP8. Архитектура, максимальная длина контекста, поддерживаемые модальности помимо текста и подробные сведения о сильных сторонах в README не указаны. Большой размер модели потенциально обеспечивает высокую способность к обработке сложных языковых задач, но также предполагает значительные требования к вычислительным ресурсам; конкретные требования и ограничения по производительности не приведены. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использовать, воспроизводить, распространять, изменять материалы и создавать производные работы на установленных условиях. При распространении необходимо сохранять текст лицензии и уведомление об атрибуции, указывать «Built with Llama», соблюдать Acceptable Use Policy и применимое законодательство. Для продуктов или сервисов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено требование запросить отдельную лицензию у Meta.

Llama-3.3-70B-Instruct-abliterated-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama 3.3 с заявленным размером 70 млрд параметров. Модель подготовлена и опубликована bartowski, а исходная модель разработана Meta. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. В метаданных указаны языки английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий. Модель работает только с текстом; сведения о поддерживаемых модальностях, архитектуре в деталях и размере контекста в предоставленных данных отсутствуют. Формат GGUF ориентирован на локальный запуск в совместимом программном обеспечении, а квантизация может снизить требования к памяти по сравнению с полной версией, но конкретный вариант квантизации в README не указан. Суффикс «abliterated» указывает на модифицированную версию, однако подробности изменений, их влияние на качество и безопасность, а также результаты тестирования не приведены. Поэтому характеристики точности, устойчивости и ограничения модели следует проверять отдельно. Распространение и использование основаны на Llama 3.3 Community License от Meta с требованиями по соблюдению Acceptable Use Policy, включению текста лицензии и атрибуции «Built with Llama» при распространении материалов или производных продуктов; для организаций с более чем 700 миллионами ежемесячных пользователей предусмотрено отдельное лицензионное условие.

maid-yuzu-v3 — объединённая автором модель генерации текста на архитектуре Mixtral с экспертной структурой MoE. Она создана методом DARE TIES с помощью mergekit на основе smelborp/MixtralOrochi8x7B и объединяет её с ycros/BagelMIsteryTour-v2-8x7B и NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO. Модель предназначена для генерации ответов и выполнения инструкций в текстовом диалоге. Объём параметров в метаданных указан как 7,1 млрд, нативный контекст — 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

legraphista/Meta-Llama-3.1-8B-Instruct-IMat-GGUF — вариант модели Meta-Llama-3.1-8B-Instruct, подготовленный legraphista в формате GGUF с поддержкой IMat. Это инструкционно настроенная большая языковая модель Meta с 8 млрд параметров, предназначенная для диалогов, следования инструкциям и генерации текстовых ответов. Данные README не содержат точной информации о поддерживаемых языках, длине контекста, конкретных вариантах квантования или аппаратных требованиях. Формат GGUF делает модель пригодной для локального запуска в совместимом программном обеспечении, однако README не указывает конкретные средства инференса и характеристики производительности. Ограничения включают возможные ошибки и нежелательные результаты, характерные для языковых моделей, а также ответственность пользователя за оценку пригодности выводов. Модель распространяется на условиях Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов требуется сохранять текст лицензии и указывать «Built with Llama»; также необходимо соблюдать Acceptable Use Policy. Для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w4a16 — это квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Модель предназначена для генерации текста и диалоговых сценариев в формате ассистента, включая коммерческое и исследовательское применение на английском языке. Она принимает текст на вход и генерирует текст на выходе, поддерживает чатовый режим и может использоваться с backend vLLM, включая OpenAI-совместимую службу. Модель имеет архитектуру LlamaForCausalLM и содержит 8 миллиардов параметров в исходной версии. Веса линейных операторов трансформерных блоков квантизированы в формат INT4 с симметричным покомпонентным масштабированием для групп по 128 параметров. По сравнению с представлением FP16 это примерно на 75% снижает размер модели на диске и требования к памяти GPU. Квантизация выполнена с использованием AutoGPTQ и калибровочного набора Neural Magic. В README приведены результаты восстановления качества относительно неквантизированной версии: 93,0% для Arena-Hard, 98,9% для OpenLLM v1, 96,1% для OpenLLM v2, 99,7% для HumanEval pass@1 и 97,4% для HumanEval+ pass@1. К сильным сторонам относятся уменьшенные требования к памяти и возможность эффективного развертывания при сохранении большей части качества исходной instruct-модели. Ограничением является заявленная область применения преимущественно на английском языке; использование на других языках указано как выходящее за рамки назначения, несмотря на наличие нескольких языков в метаданных карточки. Лицензия — Llama3.1; также необходимо соблюдать ограничения исходной лицензии Meta и применимые законы и нормы.

Mistral-7B-Instruct-v0.3-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI. Модель была конвертирована сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.14.3. Модель предназначена для генерации текста и выполнения пользовательских инструкций в сценариях, поддерживаемых исходной инструкционной моделью. Она рассчитана на запуск через библиотеку mlx-lm и формат MLX, что делает её ориентированной на совместимые устройства и программное окружение Apple MLX. Размер модели — 7 миллиардов параметров, используется 4-битное представление весов. К преимуществам относятся компактность по сравнению с полноформатной версией и возможность локального запуска в MLX-окружении. Ограничения включают возможную потерю качества из-за 4-битной квантования, зависимость от mlx-lm и совместимого оборудования, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, размере контекста, конкретных модальностях и результатах тестирования. Модель распространяется по лицензии Apache-2.0.

openchat-3.5-0106-128k-DPO-fixed-32000 — слитая модель на архитектуре Mistral, созданная с помощью LazyMergekit на основе NousResearch/Yarn-Mistral-7b-128k и Eric111/openchat-3.5-0106-128k-DPO. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в диалоговом формате. Её можно применять для ответов на вопросы, написания текстов и работы с длинными документами; заявленная длина контекста в метаданных — 32 768 токенов. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и конкретных языковых ограничениях в предоставленных данных отсутствуют.

Orca Mini v9.3 — диалоговая языковая модель, дообученная Pankaj Mathur на базе meta-llama/Llama-3.3-70B-Instruct. Она предназначена для генерации текста и общения с пользователем в формате инструктивного ассистента. Модель содержит 69,5 млрд параметров, использует плотную архитектуру Llama и запускается через Transformers; веса представлены в форматах PyTorch и safetensors. Контекстное окно — до 131 072 токенов. Модель подходит для ответов на вопросы, ведения диалогов и генерации текстов. Базовая Llama 3.3 поддерживает английский и семь других языков: французский, немецкий, хинди, итальянский, португальский, испанский и тайский. Карточка Orca Mini также указывает английский язык. Качество и безопасность ответов не гарантированы: возможны ошибки, предвзятость и нежелательные ответы, поэтому перед внедрением нужны проверки и настройки под конкретный сценарий. Модель распространяется по лицензии Llama 3.3.

Ornith-1.5-35B-A3B-NInfer — производный инференс-артефакт модели Ornith-1.5-35B-A3B, разработанной Ornith AI. Это мультимодальная языковая модель архитектуры Qwen 3.5 Mixture-of-Experts, принимающая текст и изображения. Артефакт предназначен для запуска и обслуживания через движок NInfer, а не является исходным репозиторием модели. Модель содержит 40 слоёв и 256 экспертов, из которых для каждого токена активны 8; эффективный объём активных параметров составляет около 3 млрд при общем классе модели 35B. Используются скрытый размер 2048, GQA с 16 attention- и 2 KV-головами, словарь из 248 320 токенов и контекст до 262 144 позиций. Зрительный энкодер состоит из 27 слоёв. Артефакт включает DFlash-компонент для multi-token prediction и обученную MTP-head, оптимизированную с помощью knowledge distillation. Заявленный язык — английский. Весы упакованы в единый файл размером около 21,22 GiB с групповой смешанной квантизацией Q4, Q5, Q6 и W8; часть тензоров сохранена в BF16. По измерениям из карточки, обученная MTP-head повысила долю принятых черновых токенов с 21,8% до 39,0% и увеличила скорость декодирования примерно на 21,5% в указанной конфигурации RTX 5090 и однопоточном CLI-тесте. Ограничения включают зависимость от движка NInfer, специфичного формата артефакта и доступности соответствующих аппаратных ресурсов; приведённые показатели не являются универсальной гарантией производительности. Базовая модель распространяется по лицензии MIT. Встроенная grafted MTP-head указана как производная от Qwen и распространяется по Apache-2.0, поэтому условия использования следует учитывать для компонентов отдельно.

Phi-3.5-mini-instruct-IMat-GGUF — это GGUF-квантизованная версия модели microsoft/Phi-3.5-mini-instruct, подготовленная legraphista с использованием llama.cpp b3608. Модель предназначена для генерации текста в формате инструкций, диалоговых сценариев и задач обработки естественного языка, включая работу с кодом. В README указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и ряда IQ-квантизаций размером примерно от 1,42 до 7,64 ГБ. Для многих вариантов с низкой разрядностью применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера модели; файлы предоставляются в формате GGUF и подходят для использования с совместимыми инструментами, включая llama.cpp. Точная архитектура, число параметров и размер контекста в README не указаны. Сильной стороной модели является широкий выбор уровней квантизации, позволяющий подобрать компромисс между качеством, скоростью и требованиями к памяти, а также наличие IMatrix для ряда компактных вариантов. Ограничения связаны с возможной потерей качества при агрессивной квантизации и отсутствием сведений о целевых метриках и производительности. Модель распространяется по лицензии MIT; исходная модель принадлежит Microsoft.

SanctumAI/Phi-3-mini-4k-instruct-GGUF — это квантизированная в формате GGUF версия Phi-3-Mini-4K-Instruct, разработанной Microsoft и подготовленной SanctumAI. Модель предназначена для генерации текста и выполнения инструкций, включая задачи понимания языка, рассуждений, математики, программирования, здравого смысла и логики. Она ориентирована на локальный запуск на устройствах с ограниченными ресурсами. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4096 токенов. Это текстовая модель с поддержкой английского языка; README также отмечает наличие вариантов квантизации от Q2_K до Q8_0 и версии FP16, занимающих примерно от 1,45 до 7,64 ГБ, при потребности в памяти от 5,05 до 10,82 ГБ. Обучение включало синтетические и отфильтрованные общедоступные данные, а дообучение — supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и безопасности. К сильным сторонам относятся компактный размер, возможность локального использования и заявленная высокая производительность среди моделей с менее чем 13 млрд параметров. Ограничения включают небольшое контекстное окно, текстовую специализацию и возможные неточные, вредные или неподходящие ответы. Для использования следует применять шаблон приглашений Phi-3 с системными, пользовательскими и ассистентскими сообщениями. Указана лицензия MIT.

Phi-3-mini-4k-instruct-v0.3-GGUF — набор квантизованных файлов модели Phi-3-mini-4k-instruct-v0.3, основанной на Microsoft/Phi-3-mini-4k-instruct. Исходную модель опубликовал MaziyarPanahi, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач на рассуждение и работы с кодом. В README указан английский язык; поддержка других языков не заявлена. Обозначение 4k указывает на вариант модели с контекстом порядка 4 тысяч токенов, однако точное значение в представленных данных не раскрыто. Модель поставляется в формате GGUF с несколькими уровнями квантизации — от Q8_0 до Q3_K_M и IQ3_M. Размер файлов составляет примерно от 1,95 до 4,06 ГБ, что позволяет выбирать компромисс между качеством генерации и требованиями к оперативной памяти. Для локального запуска рекомендуется использовать llama.cpp или совместимые инструменты. К сильным сторонам относятся компактность, возможность локального развертывания и несколько вариантов квантизации; более агрессивное сжатие может снижать качество ответов. Данные о мультимодальности, точной архитектуре и числе параметров не указаны. Лицензия модели — MIT. В README приведены результаты на ARC-Challenge, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K, однако они относятся к указанной версии модели и не обязательно одинаковы для всех вариантов квантизации.

Qwen1.5-110B-Chat-GGUF — квантизированная GGUF-версия диалоговой языковой модели Qwen1.5-110B-Chat, разработанной командой Qwen. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая использование в чат-приложениях и локальных сервисах инференса через LlamaEdge. Модель содержит 110 млрд параметров, работает с текстовой модальностью и ориентирована на английский язык. Для взаимодействия используется шаблон ChatML, заявленный размер контекста — 32 000 токенов. Доступны варианты квантизации Q2_K, Q3_K, Q4_0, Q4_K_M, Q4_K_S, Q5_0 и Q5_K_M с разными компромиссами между размером, требованиями к ресурсам и качеством. В README рекомендуются варианты Q4_K_M и Q5_K_M; более низкие уровни квантизации обеспечивают меньший размер, но могут приводить к существенной потере качества. К сильным сторонам относятся большой размер исходной модели, диалоговая специализация, поддержка длинного контекста и возможность запуска в формате GGUF с LlamaEdge. Ограничениями являются значительные требования к памяти даже у квантизированных вариантов, а также ухудшение качества при сильной квантизации. Модель распространяется по лицензии Tongyi Qianwen; точные условия определяются текстом лицензии, указанным в репозитории исходной модели.

Edens-Gate/Qwen1.5B-Instruct-Upscale-3.5B — текстовая диалоговая модель семейства Qwen2, созданная с помощью mergekit методом passthrough на основе Qwen/Qwen2-1.5B-Instruct. Репозиторий содержит плотную архитектуру Qwen2ForCausalLM на 3,2 млрд параметров; модель работает через Transformers и принимает текстовые запросы, выдавая текст. Модель предназначена для диалогов и генерации текста по инструкциям. Подходит для ответов на вопросы, составления текстов и помощи с программированием или математическими задачами. Контекстное окно составляет 32 768 токенов. В метаданных указана лицензия Apache-2.0?