I.14Автоматизация процессов и AI-агенты

cafepm/gemma-4-12b-it-Q3Q4-GGUF — это смешанно-квантованная версия Gemma 4 12B Instruct, опубликованная cafepm. По карточке, 20% весов квантованы до 4 бит, а остальные 80% — до 3 бит; файлы представлены в формате GGUF. Базовая модель — google/gemma-4-12B-it. Репозиторий предназначен для локального запуска, в том числе для помощи при программировании в VS Code и работы на потребительском оборудовании. Модель принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и визуальное понимание. В карточке базового семейства заявлены анализ документов и изображений, распознавание текста, работа с длинным контекстом и использование инструментов. Для этого конкретного квантованного варианта заявлен контекст до 200 тысяч токенов, однако README также приводит для Gemma 4 12B значение до 256 тысяч; фактический предел зависит от сборки и рантайма. Семейство поддерживает более 35 языков, но список языков для этой сборки не приведён. README заявляет, что схема смешанной точности сохраняет качество генерации уровня Q4 при размере, близком к Q3, и позволяет разместить модель в 8 ГБ VRAM; независимые результаты оценки не приведены. Квантование снижает требования к памяти, но может влиять на качество по сравнению с исходными весами, а длинный контекст требует значительных ресурсов. Указана лицензия Apache-2.0.

llmfan46/gemma-4-12B-it-uncensored-heretic-NVFP4-GGUF — квантизированная в формате GGUF версия Gemma 4 12B Instruct, доработанная в варианте uncensored/heretic. Карточка описывает семейство Gemma 4 как мультимодальное; эта сборка предназначена для диалогового использования через llama.cpp, LM Studio, Ollama и другие инструменты с поддержкой GGUF. Архитектура семейства сочетает локальное скользящее и глобальное внимание. Для 12B указано контекстное окно до 256K токенов. Модель предназначена для диалога, рассуждений, генерации и исправления кода, суммаризации, ответов на вопросы по тексту и анализа изображений, видео и аудио. Семейство поддерживает более 35 языков; для версии 12B заявлены распознавание речи и перевод речи в текст на нескольких языках. Сборка имеет метку uncensored, однако карточка не описывает отдельные процедуры её дообучения или снятия ограничений. Указана лицензия Apache-2.0. Качество ответов зависит от формулировки запроса и обучающих данных; возможны фактические ошибки, предвзятость и трудности с нюансами языка или сложными открытыми задачами. Заявленные возможности семейства не подтверждают отдельно поведение именно этой GGUF-сборки во всех режимах.

Infinity-Instruct-3M-0625-Mistral-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалогов и выполнения пользовательских инструкций. Она не обучалась с подкреплением на основе отзывов людей (RLHF) и использует шаблон чата OpenHermes-2.5-Mistral-7B. Модель подходит для многошаговых диалогов, ответов на вопросы, помощи с кодом и математикой, а также для повседневных задач на естественном языке. В README приведены результаты MT-Bench 8,1 и AlpacaEval 2.0 31,42; это оценки из карточки, а не гарантия качества для конкретных запросов. Метаданные указывают контекст до 32 768 токенов и английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0, однако авторы ограничивают использование связанных ресурсов академическими исследованиями и запрещают коммерческое применение.

Llama 3.1 Tulu V2 70B — языковая модель-ассистент, разработанная Allen Institute for AI (Ai2) и дообученная на базе meta-llama/Meta-Llama-3.1-70B. Это плотная модель семейства Llama с 69,5 млрд параметров; она обучена на смеси общедоступных, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2. Основной язык — английский. Контекст составляет до 131 072 токенов. Модель предназначена для диалоговых ответов на инструкции и общих задач генерации текста: например, для ответов на вопросы, написания текстов, помощи с рассуждениями и кодом. Карточка приводит результаты на тестах знаний, математики, программирования, следования инструкциям и безопасности, но отдельные оценки не гарантируют качество в конкретном сценарии. Модель не проходила этап RLHF, направленный на безопасные ответы, и не использует встроенную фильтрацию ответов; при соответствующих запросах она может выдавать проблемный контент. Лицензия репозитория — Apache 2.0; исходная модель распространяется по лицензии сообщества Meta Llama 3.1, условия которой также следует учитывать.

bartowski/Meta-Llama-3-70B-Instruct-GGUF — это GGUF-версия 70-миллиардной инструкционно-ориентированной языковой модели Meta Llama 3, разработанной Meta и подготовленной пользователем bartowski для запуска в совместимых средах инференса. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые сценарии и другие приложения обработки естественного языка. В доступных данных указано, что модель поддерживает английский язык и относится к классу text-generation. Она основана на архитектуре Llama 3 и поставляется в формате GGUF, однако сведения о конкретном варианте квантования, размере контекста, точной архитектуре, мультимодальности и дополнительных языках отсутствуют. Размер 70B обеспечивает значительный потенциал для сложных языковых задач, но обычно требует существенных вычислительных ресурсов; характеристики производительности зависят от выбранной сборки и среды запуска. Модель распространяется по Meta Llama 3 Community License. При распространении материалов или продуктов на их основе требуется соблюдать условия лицензии, включая указание «Built with Meta Llama 3», сохранение уведомления об авторских правах и соблюдение Acceptable Use Policy. Лицензия также содержит ограничения на использование результатов для улучшения других больших языковых моделей и дополнительные коммерческие условия для организаций с более чем 700 миллионами активных пользователей в месяц.

Mistral-Nemo-Instruct-2407-GGUF — квантизированная GGUF-версия инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI (mistralai) и подготовленной квантизацией компанией Second State Inc. Модель предназначена для диалоговых приложений, генерации и обработки текста, запуска локально через совместимые инструменты, включая LlamaEdge и llama.cpp. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; размер файлов составляет примерно от 4,79 до 24,5 ГБ. Для запуска используется шаблон запросов mistral-instruct, а заявленный размер контекста — 128 000 токенов. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Это текстовая модель без заявленной поддержки других модальностей. Основное преимущество набора — возможность выбрать баланс между размером, требованиями к ресурсам и качеством: Q4_K_M и Q5_K_M отмечены как рекомендуемые варианты, тогда как низкобитные версии сильнее теряют качество. Ограничения включают зависимость качества и производительности от выбранной квантизации и оборудования; архитектура и точное число параметров в README не указаны. Модель распространяется по лицензии Apache-2.0.

phi-4-GGUF — это квантизированная в формате GGUF версия языковой модели Phi-4, разработанной Microsoft. Квантизация выполнена bartowski на основе llama.cpp, релиз b4456. Модель предназначена для генерации текста, диалогового взаимодействия, решения математических задач, программирования и других задач обработки естественного языка. Модель поддерживает контекст до 16 000 токенов и обучалась на 9,8 триллиона токенов, включая синтетические данные, отфильтрованные общедоступные веб-страницы, академические книги и наборы вопросов и ответов. В метаданных указан английский язык. Формат GGUF и совместимость с llama.cpp делают модель пригодной для локального запуска в приложениях, поддерживающих этот формат, включая LM Studio. К сильным сторонам относятся широкий набор обучающих данных, поддержка длинного контекста и специализация на задачах диалога, математики и кода. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. В README не указаны конкретная архитектура, число параметров и характеристики отдельных вариантов квантизации. Модель распространяется по лицензии MIT.

XORTRON.CriminalComputing.LARGE.2026.3 — разговорная языковая модель на архитектуре Mistral, опубликованная heretic-org. По карточке это версия Mistral-Large-Instruct-2411 с abliteration: модель изменена для существенного снижения частоты отказов, а не для отдельной предметной области. Она предназначена для генерации ответов в диалоге, рассуждений, помощи с кодом и работы с длинным контекстом; исходная карточка также описывает поддержку вызова функций. Метаданные указывают 122,2 млрд параметров, плотную архитектуру MistralForCausalLM, контекст до 131 072 токенов и форматы Safetensors. Указаны английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. В приведённом сравнении частота отказов составляет 2 из 100 против 87 из 100 у исходной модели, при KL-дивергенции 0,0578; это показывает снижение отказов, но не подтверждает качество или безопасность ответов. Лицензия обозначена как other; README описывает исследовательскую лицензию Mistral для исходной модели, но условия лицензии этой производной модели однозначно не установлены.

GaelicThunder/DeepSeek-V4-Flash-Vision-Exp-ablit-EXL3-Kalibrated — квантизированная версия DeepSeek-V4-Flash-Vision-Exp от DeepSeek, подготовленная GaelicThunder на основе MixedK-пака vcruz305 и abliterated-варианта drowzeys. Модель предназначена для мультимодальных задач «текст плюс изображение», включая анализ изображений и генерацию текста, а также для обычных сценариев работы с текстом, математикой и кодом. Это MoE-модель с 256 маршрутизируемыми экспертами в каждом слое, представленная в формате EXL3 с mixed-precision-квантизацией: экспертные веса распределены между 2- и 3-битным представлением, при этом 22 слоя дополнительно переквантизированы в калиброванный 3-битный формат. Остальные тензоры используют BF16 или FP8 в зависимости от компонента. Пакет занимает около 106 GB и рассчитан на запуск на одной NVIDIA DGX Spark с GB10 и 128 GB памяти. Поддерживаются контекст до 245 760 токенов, speculative decoding, CUDA graphs и обработка от одного до трёх изображений на запрос. Языки явно не указаны. По приведённым измерениям модель сохраняет около 90% вероятности токенов оригинальной модели в среднем, с особенно сильными результатами на математике; заявлены также показатели для прозы и кода. Ограничения включают высокие требования к памяти и специализированному стеку запуска, длительную первичную компиляцию ядер и известную ошибку декодирования, из-за которой иногда появляется токен «)Skip»; в рекомендуемом сценарии она подавляется прокси. Модель распространяется по лицензии MIT.

Gemma 3 12B IT QAT — мультимодальная инструкционно дообученная модель из семейства Gemma, разработанная Google DeepMind. Она принимает текст и изображения, а на выходе генерирует текст. Модель создана на основе технологий, использованных в Gemini, и предназначена для развертывания в локальной инфраструктуре, на настольных компьютерах, ноутбуках и в облачных средах с ограниченными ресурсами. Модель подходит для ответов на вопросы, суммаризации документов, рассуждений, генерации и анализа текста, а также для понимания изображений и извлечения визуальной информации. Она поддерживает более 140 языков, имеет контекстное окно до 128K токенов для версии 12B и максимальный объём генерируемого текста до 8192 токенов. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Версия 12B обучена с использованием Quantization Aware Training (QAT), что должно помогать сохранять качество, близкое к bfloat16, при снижении требований к памяти после квантования. При этом указанный в репозитории checkpoint является неквантованным: для получения варианта Q4_0 его необходимо дополнительно квантовать выбранным инструментом. Ограничения включают зависимость качества от языка, содержания запроса и изображения, а также обычные риски ошибок и неточностей генеративных моделей. Использование регулируется лицензией Gemma от Google; для доступа на Hugging Face требуется принять условия лицензии.

Nex-N2.5-mini-Uncensored-APEX-GGUF — набор GGUF-квантизаций модели Nex-N2.5-mini от Nex-AGI, подготовленный на базе варианта orcarouter/Nex-N2.5-mini-Uncensored с использованием llama.cpp и localai-org/apex-quant. Модель позиционируется как abliterated, то есть с уменьшенной склонностью к отказам. Формат предназначен для локального запуска через llama.cpp и совместимые интерфейсы. Модель поддерживает текстовые и визуальные сценарии, включая анализ изображений, работу с английским и китайским языками, генерацию текста, программирование и задачи, требующие длинного контекста. Архитектура — Mixture-of-Experts примерно на 34 млрд параметров: 40 слоёв, 256 маршрутизируемых экспертов, выбор 8 экспертов на токен и один общий эксперт в каждом слое. Используется гибрид gated-delta-net и полноразмерного внимания, максимальный контекст заявлен до 262 144 токенов. Основное преимущество — MoE-архитектура и APEX-квантизация со смешанной точностью, которая позволяет выбирать разные уровни точности для слоёв и групп тензоров, обеспечивая несколько вариантов баланса между размером и качеством. Доступны профили Mini, I-Compact, I-Quality и I-Balanced, однако конкретные файлы могут присутствовать не все. Для работы с изображениями требуется отдельный F16-проектор mmproj. Реальное качество зависит от выбранного профиля, аппаратных ресурсов и клиента; приведённые в README внешние результаты APEX нельзя считать измерениями именно этих файлов. Для запуска рекомендуется современная версия llama.cpp, при этом возможна частичная выгрузка слоёв на GPU. Лицензия модели — Apache-2.0.

Карточка модели mayflowergmbh/occiglot-7b-eu5-instruct-hf на Hugging Face совпадает с карточкой occiglot/occiglot-7b-eu5-instruct, поэтому описание составлено по ней. Occiglot-7B-EU5-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер с архитектурой Mistral и 7,1 млрд параметров, дообученный на 400 млн токенов многоязычных и программных инструкций. Модель принимает текстовые запросы в формате ChatML и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы, выполнения инструкций и задач с кодом на английском, испанском, французском, немецком и итальянском языках. Карточка приводит предварительные результаты тестирования и отмечает, что часть неанглоязычных оценок основана на машинном переводе, поэтому их следует интерпретировать осторожно. Модель не проходила выравнивание по безопасности и может создавать проблемный контент. Распространяется по лицензии Apache 2.0.

Olmo-3.1-32B-Instruct-DPO — авторегрессионная трансформерная языковая модель Allen Institute for AI (Ai2), дообученная методом DPO на основе allenai/Olmo-3.1-32B-Instruct-SFT. Модель содержит 31,7 млрд параметров, работает с текстом и предназначена для диалогов и выполнения инструкций. Разработчики отмечают задачи математики, программирования, общих знаний и чата; контекстная длина составляет 65 536 токенов. Модель обучалась на английском языке и распространяется в формате Safetensors для использования с Transformers. Ai2 публикует семейство Olmo для исследований языковых моделей; лицензия Apache 2.0. В README приведены результаты оценивания, но они не гарантируют точность ответов в конкретных сценариях.

Locutusque/Orca-2-13b-SFT-v4 — языковая модель Locutusque, полученная полным дообучением Microsoft Orca 2 на 13 млрд параметров. Она использует архитектуру LLaMA и шаблон диалога ChatML; базовая модель рассчитана на рассуждения, ответы на вопросы, решение математических задач и суммаризацию. Версия v4 обучена на наборах no_robots, EverythingLM-data-V3, Guanaco и OpenAssistant; в карточке указана тестовая потеря 0,18. Модель предназначена для генерации текста и диалогового применения, а в метаданных также отмечена работа с кодом. Поддерживает английский, французский, испанский, хинди и китайский языки, имеет контекст 4096 токенов. Для использования необходимо соблюдать исследовательскую лицензию Microsoft Orca 2; в метаданных лицензия обозначена как other.

Phi-3-medium-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Microsoft Phi-3-medium-128k-instruct, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для генерации текста, диалогового взаимодействия и задач, связанных с обработкой естественного языка и программным кодом. В README заявлена поддержка multilingual-сценариев и контекстное окно до 128 000 токенов. Доступны варианты от F32 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, а также форматы IQ. Размер файлов составляет примерно от 5,14 до 55,84 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, тогда как компактные варианты снижают требования к памяти ценой качества ответов. Ключевые характеристики исходной архитектуры, точное число параметров, перечень поддерживаемых языков и результаты тестирования в README не указаны. Модель подходит для локального инференса, чат-ботов, генерации и анализа текста, а также помощи с кодом при наличии оборудования с достаточным объёмом оперативной или видеопамяти. Ограничениями являются зависимость качества и требований к ресурсам от выбранной квантизации, а также отсутствие в предоставленных данных подробных оценок производительности и гарантий точности. Указана лицензия MIT, унаследованная от исходной модели Microsoft.

Phi-4-mini-instruct-GGUF — квантизированная GGUF-версия модели Phi-4-mini-instruct, разработанной Microsoft и преобразованной компанией Second State Inc. Модель предназначена для генерации текста и диалогового применения, включая задачи обработки естественного языка и работы с кодом. Она распространяется в нескольких вариантах квантизации для запуска с llama.cpp и LlamaEdge. Модель работает с текстовой модальностью, поддерживает контекст размером до 128 000 токенов и заявлена как многоязычная. В README перечислена поддержка арабского, китайского, чешского, датского, нидерландского, английского, финского, французского, немецкого, иврита, венгерского, итальянского, японского, корейского, норвежского, польского, португальского, русского, испанского, шведского, тайского, турецкого и украинского языков. Размер исходной модели и сведения об архитектуре в README не указаны. Основное преимущество представленной версии — выбор между несколькими уровнями квантизации с размером файлов от 1,68 до 7,68 ГБ, что позволяет адаптировать модель к доступной памяти и требованиям к качеству. Варианты с низкой разрядностью экономичнее, но могут заметно снижать качество; наиболее сбалансированными в README названы Q4_K_M, Q5_K_M и Q5_K_S. Для использования требуется совместимый рантайм и шаблон prompt типа phi-4-chat. Модель распространяется по лицензии MIT.

Qwen1.5-4B-Chat-GPTQ-Int4 — диалоговая языковая модель серии Qwen1.5, разработанная командой Qwen. Это decoder-only модель на архитектуре Transformer, предназначенная для генерации текста и взаимодействия в формате чата: ответов на вопросы, ведения диалога, подготовки текстов и других задач обработки естественного языка. Модель содержит около 4 миллиардов параметров и представлена в формате GPTQ с 4-битным квантованием Int4, что снижает требования к памяти при запуске. Она поддерживает текстовую модальность, многоязычную работу и контекст до 32K токенов. В архитектуре заявлены активация SwiGLU, смещения в QKV-внимании и улучшенный токенизатор, адаптированный к естественным языкам и программному коду. Модель была предварительно обучена на большом объёме данных, а затем дообучена с использованием supervised fine-tuning и direct preference optimization. К сильным сторонам относятся компактный размер, удобный для локального развертывания квантованный формат, чатовая настройка и поддержка длинного контекста. Ограничения включают статус beta-версии, возможные проблемы при переключении между языками и отсутствие в описании данных о гарантированной точности, безопасности или поддерживаемых языках, кроме заявленной многоязычности. Указана лицензия Tongyi Qianwen Research; подробные условия приведены в файле лицензии репозитория.

Qwen2.5-14B-Instruct-1M-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-14B-Instruct-1M, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи, требующие обработки очень длинного контекста, при сохранении возможностей на коротких запросах. В метаданных указана поддержка английского языка. Модель имеет контекстное окно до 1 миллиона токенов, что делает её подходящей для анализа больших документов и других длинных последовательностей. При этом для последовательностей свыше 262 144 токенов возможно снижение точности до появления улучшенной поддержки. Размер исходной модели составляет 14 миллиардов параметров; сведения о конкретном методе и уровнях GGUF-квантизации в README не указаны. Модель распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может генерировать неточный, неподходящий или вредоносный контент, поэтому результаты требуют проверки. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

jc-builds/Qwen3.5-4B-Q4_K_M-GGUF — это 4-битная квантованная версия базовой модели Qwen/Qwen3.5-4B, разработанной Alibaba Cloud. Квантование Q4_K_M и упаковка в формат GGUF выполнены для запуска на устройствах пользователя, в частности на iPhone, iPad и компьютерах Mac с Apple Silicon, через llama.cpp. Модель распространяется по лицензии Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, следования инструкциям и использования инструментов. Она поддерживает режим reasoning с тегами <think> и ChatML-формат запросов. В README заявлены мультимодальные возможности с ранним объединением зрительных данных, однако vision encoder предоставляется отдельно. Указана поддержка 201 языка и диалекта, включая английский, китайский, японский, корейский, русский и другие языки. Архитектура представляет собой гибрид Gated DeltaNet и полноразмерного softmax-внимания в соотношении 3:1: из 32 слоёв восемь блоков содержат по три слоя DeltaNet и одному attention-слою. Модель имеет около 4 миллиардов параметров, размер файла составляет примерно 2,6 ГБ, а нативное контекстное окно — 262 144 токена; для расширения контекста заявлена совместимость с YaRN. Гибридная архитектура рассчитана на снижение потребления памяти, что делает модель подходящей для локального и мобильного вывода. Ограничениями являются потеря точности из-за 4-битного квантования, высокие требования к оперативной памяти для длинного контекста и то, что заявленные мультимодальные функции требуют отдельного vision encoder.

Qwen3.6-27B-Seven-GGUF — это GGUF-квантизированная версия модели nightmedia/Qwen3.6-27B-Seven, подготовленная mradermacher. Модель предназначена для генерации и понимания текста, диалогов, программирования, математических и STEM-задач, исследовательских сценариев, творческого письма и ролевого взаимодействия. Доступны варианты квантования от Q2_K до Q8_0, что позволяет выбирать баланс между размером файлов, скоростью работы и качеством; размер файлов составляет примерно от 11 до 29,1 ГБ. Заявлена поддержка английского, китайского, японского и испанского языков. Для мультимодального использования предоставляются отдельные компоненты mmproj в форматах Q8_0 и f16. README не содержит точных сведений об архитектуре, числе параметров базовой модели помимо обозначения 27B, фактическом размере контекстного окна и поддерживаемых типах входных данных, поэтому эти характеристики нельзя уточнить. Варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с лучшим качеством среди перечисленных. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся неизбежные компромиссы квантования: более компактные варианты могут уступать по качеству более крупным, а для мультимодальной работы требуется отдельный mmproj-файл. Указание долгого контекста в тегах README не подтверждено подробными техническими параметрами.

DeepSeek-V4-Flash-0731-CRACK-NVFP4 — дообученная и модифицированная версия deepseek-ai/DeepSeek-V4-Flash-0731, опубликованная Dealign.ai. Это текстовая генеративная MoE-модель для диалогов, рассуждений, программирования, вызова инструментов и многошаговых сценариев. Модель позиционируется как исследовательский артефакт с удалёнными защитными отказами, поэтому требует ответственного и законного применения. Архитектура включает 43 слоя, 256 маршрутизируемых и одного общего эксперта, MLA, sliding-window attention и контекст примерно до 1 млн токенов с YaRN. Сохранены native-квантизация FP8 для attention и общих экспертов, FP4 класса NVFP4 для маршрутизируемых экспертов, DSpark MTP head, управляемое усилие рассуждения и спекулятивное декодирование. Чекпойнт занимает около 167 ГБ и рассчитан на tensor parallel между двумя узлами NVIDIA GB10 или DGX Spark; в README также указана конфигурация обслуживания с контекстом до 393216 токенов. Заявлены английский и китайский языки, интеграция с vLLM и поддержка OpenAI-совместимых инструментальных вызовов. К сильным сторонам относятся сохранённые знания и способности к рассуждению, высокая заявленная точность на MMLU и HumanEval, производительность 45–49 токенов в секунду в однопоточном режиме, prefix caching и высокая ёмкость GPU KV cache. Основное ограничение — отсутствие защитных отказов: модель может согласиться с вредоносными, незаконными или опасными запросами. Для запуска требуются совместимые сборки vLLM, две системы GB10/DGX Spark, tensor parallel и специализированная инфраструктура. Модель распространяется по лицензии MIT с наследованием условий upstream DeepSeek-V4-Flash; перед использованием необходимо проверить применимые условия лицензии.

Granite-4.0-H-Micro-Base — базовая языковая модель IBM Granite Team для генерации текста и продолжения кода. Это decoder-only плотная архитектура на 2,6 млрд параметров с компонентами GQA, Mamba2, SwiGLU и RMSNorm. Модель обучена с нуля на смеси открытых и проприетарных данных; контекст составляет до 131 072 токенов. Модель рассчитана на суммаризацию, классификацию и извлечение информации, ответы на вопросы, генерацию текста с длинным контекстом и дополнение кода, включая Fill-in-the-Middle. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Это базовая модель без safety alignment, поэтому ответы могут содержать предвзятость, недостоверные сведения или проблемный контент; также отмечен риск дословного воспроизведения данных обучения. Лицензия Apache 2.0.

Locutusque/Hyperion-2.0-Mistral-7B — языковая модель Locutusque, дообученная на 750 тысячах примеров набора Hyperion-v2.0 на базе mistralai/Mistral-7B-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и ответов на сложные вопросы, ведения диалога, генерации кода и рассуждений в научных областях. В карточке описаны сценарии обучения и помощи специалистам в медицине, математике, программировании и других технических дисциплинах. Основной язык — английский. Модель доступна в формате safetensors и распространяется по лицензии Apache-2.0. В README отмечены возможные несогласованности ответов из-за разнообразия форматов данных и качества аннотаций; также модель охотно отвечает на любые запросы, поэтому для корпоративного применения автор рекомендует дополнительную настройку с помощью DPO.

Lapa LLM v0.1.2 Instruct — мультимодальная инструктивная модель на архитектуре Gemma 3 с 12 млрд параметров, разработанная украинской исследовательской командой из Украинского католического университета, AGH University of Krakow, КПИ имени Игоря Сикорского и Львовской политехники. Модель настроена на обработку украинского языка и принимает текст и изображения; заявленная длина входного контекста — 128 тыс. токенов, длина генерируемого ответа — до 8192 токенов. Модель предназначена для ответов на вопросы, суммаризации, анализа изображений на украинском языке, перевода между английским и украинским, а также для чат-ботов и RAG-систем. Авторы сообщают об адаптации токенизатора: 80 тыс. из 250 тыс. токенов заменены на украинские, что, по их оценке, позволяет обрабатывать украинский текст с меньшим числом токенов и вычислений. В метаданных указаны возможности чата и зрения; формат весов — safetensors. README заявляет возможность коммерческого использования и описывает открытые наборы данных, код и документацию проекта. В метаданных указана лицензия Gemma; перед коммерческим использованием следует проверить её условия для этой версии. README отмечает, что качество инструктивной версии ещё улучшается и что для развития возможностей анализа изображений и следования инструкциям собираются дополнительные данные.

Llama-3.3-70B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Llama 3.3 70B, разработанной Meta и подготовленной в формате GGUF сообществом lmstudio-community; в метаданных также указан quantized_by: bartowski. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие задачи обработки естественного языка. Она относится к семейству текстовых моделей и содержит около 70 миллиардов параметров. Сведения о конкретном варианте квантизации, размере контекста, поддерживаемых языках, точных модальностях и требованиях к аппаратному обеспечению в представленном README отсутствуют. Крупный размер модели потенциально обеспечивает высокое качество рассуждений и генерации, однако обычно требует значительных вычислительных ресурсов; влияние выбранной квантизации на качество и производительность здесь не уточняется. Модель распространяется по Llama 3.3 Community License от Meta. При распространении материалов или производных продуктов необходимо предоставлять текст лицензии, указывать «Built with Llama» и соблюдать применимую политику допустимого использования; для некоторых очень крупных коммерческих сервисов предусмотрены дополнительные лицензионные условия.

Llama 3 Tulu 2 70B — большая языковая модель-помощник, разработанная AllenAI и дообученная на базе Meta Llama 3 70B. Она обучалась на смеси общедоступных, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2. Модель содержит 69,5 млрд параметров, использует архитектуру Llama с плотной causal language model и принимает текст для генерации текста. Заявленная основная языковая ориентация — английский; родной контекст составляет 2048 токенов. Модель предназначена для диалогов с помощником, выполнения инструкций, ответов на вопросы, рассуждений и генерации кода. В карточке приведены результаты тестирования на MMLU, GSM8k, BBH, TyDiQA и HumanEval, однако они не гарантируют качество в конкретном приложении. По сведениям README, модель не проходила этап RLHF для согласования безопасных ответов и может выдавать проблемный контент, особенно по соответствующему запросу. Лицензия репозитория — Apache 2.0.

Phi-2 Orange Version 2 — разговорная языковая модель на базе Phi-2, созданная Rhys Jones. Это двухэтапное дообучение с обновлённым процессом на тех же наборах данных, что использовались для первой версии. Модель имеет плотную архитектуру PhiForCausalLM, около 3,5 млрд параметров и контекст до 2048 токенов. Модель предназначена для генерации текста в диалоговом формате ChatML: она может отвечать на вопросы, следовать системным инструкциям, помогать с рассуждениями и писать код. В README приведены результаты нескольких бенчмарков, но они не гарантируют качество на конкретных задачах. Модель использует формат safetensors и поддерживается Transformers без необходимости включать trust_remote_code. Модель выпущена под лицензией MIT. Она наследует ограничения Phi-2; подробности приведены в карточке базовой модели.

Qwen2.5 Ultimate 14B Instruct — объединённая инструкционная языковая модель, созданная автором qingy2024 методом TIES из Qwen2.5-14B-Instruct и Qwen2.5 Math 14B Instruct на базе Qwen2.5-14B. Модель с плотной архитектурой Qwen2 и 14 млрд параметров предназначена для диалогов и генерации текста; объединение также ориентировано на математические задачи и ответы по инструкциям. Модель принимает текст и генерирует текст. В карточке заявлена поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Контекстное окно составляет до 131 072 токенов. В карточке приведены результаты оценивания на наборах IFEval, BBH, MATH, GPQA, MuSR и MMLU-Pro; эти показатели относятся к указанным тестовым настройкам и сами по себе не гарантируют качество в прикладных сценариях. Веса доступны в формате safetensors, библиотека для работы — Transformers. Лицензия в предоставленных данных не указана.

Qwen3.5-27B-NVFP4 — квантованная версия модели Qwen/Qwen3.5-27B, опубликованная apolo13x. Это мультимодальная модель типа image-text-to-text: принимает текст и изображения, а генерирует текстовые ответы. Она предназначена для диалоговых сценариев, анализа изображений и решения общих задач обработки текста и мультимодального понимания. Весы и активации модели преобразованы в формат FP4 с использованием llm-compressor и 512 калибровочных образцов из набора neuralmagic/calibration. Квантование уменьшает размер модели с 51,8 до 18,4 ГБ, примерно в 2,8 раза, при заявленном среднем восстановлении точности 99,1% относительно исходной Qwen3.5-27B. Модель поддерживает режим рассуждений и предназначена для запуска, в частности, через nightly-версии vLLM. По результатам оценки в режиме zero-shot с включённым рассуждением модель получила 79,29% на GPQA Diamond, 93,88% на IFEval и 94,32% на MMLU-Redux; средний результат составил 89,16% против 89,76% у исходной модели. Сильными сторонами являются существенное снижение требований к дисковому пространству и сохранение близкой к исходной точности. Ограничения включают возможные потери качества из-за квантования и зависимость поддержки от актуальных сборок vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-AWQ — это 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen группы Alibaba. Модель предназначена для генерации текста по текстовым запросам, а также для обработки интерleaved-входов с изображениями и текстом; базовая модель также поддерживает видео. Предусмотрен режим рассуждений, включённый по умолчанию. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Gated DeltaNet и sparse MoE с vision encoder. Нативная длина контекста составляет 262 144 токена, с возможностью расширения посредством RoPE scaling. Заявлена поддержка 201 языка и диалекта. Квантизация выполнена по схеме W4A16: веса линейных слоёв языковой модели представлены в 4-битном формате, а активации — в 16-битном; vision tower, router gates и lm_head сохранены в более высокой точности. Главное преимущество версии AWQ — уменьшенные требования к дисковому пространству и VRAM при сохранении возможностей базовой vision-language модели, что делает её подходящей для запуска на одной потребительской GPU. Для инференса требуется совместимая GPU с поддержкой INT4 Marlin и свежая версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration; работоспособность проверена на NVIDIA Blackwell. Ограничения включают зависимость от поддержки compressed-tensors в используемом стеке и потенциальные потери точности, характерные для квантизации, хотя vision tower намеренно не квантизован для сохранения качества понимания изображений. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели Qwen3.5-9B.