II.4Отладка, тестирование и качество ПО

Blur-7b-v1.2 — объединённая модель для генерации текста и диалогов, созданная liminerity с помощью LazyMergekit. Она объединяет liminerity/Blured-Ties-7B и freecs/ThetaWave-7B методом TIES; в конфигурации также указан mlabonne/NeuralBeagle14-7B как base_model. Модель построена на архитектуре Mistral с плотной архитектурой и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и использования в чат-сценариях. Её контекстное окно составляет 32 768 токенов. В README приведены результаты Open LLM Leaderboard, включая средний балл 67,74, а также результаты AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Bonsai-8B-GGUF-1bit — языковая модель, разработанная Prism ML и распространяемая в формате GGUF для llama.cpp. Она предназначена для генерации текста, локального запуска чат-ассистентов и интеграции в приложения на устройствах с GPU или CPU, включая системы на CUDA, Apple Metal и Android. Модель может использоваться через специализированную сборку llama.cpp с 1-битными ядрами; также доступна отдельная версия для MLX. Модель основана на плотной архитектуре Qwen3-8B и содержит 8,19 млрд параметров, из которых около 6,95 млрд не относятся к embedding-слоям. В ней 36 decoder-блоков Transformer, GQA с 32 query- и 8 KV-головами, SwiGLU, RoPE и RMSNorm. Длина контекста составляет 65 536 токенов, размер словаря — 151 936 токенов. Все основные веса, включая embeddings, attention- и MLP-проекции, а также LM head, представлены в формате Q1_0 с эффективными 1,125 битами на вес. Ключевое преимущество — компактность и энергоэффективность: память параметров занимает около 1,15 ГБ против 16,38 ГБ у FP16, что примерно в 14 раз меньше; заявлено также ускорение до 6,2 раза на RTX 4090 и снижение энергопотребления на токен в 4–5 раз. Ограничения связаны с экстремальным 1-битным квантованием, которое может влиять на качество по сравнению с полной точностью, а для запуска требуются совместимые 1-битные ядра и сборка llama.cpp от Prism ML. Модель распространяется по лицензии Apache 2.0.

Это GGUF-квантизированная версия языковой модели olmo-marvin-full-merged, разработанной Burnt-Toast и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально с помощью llama.cpp и совместимых приложений, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Доступны варианты от полноразмерных весов BF16 объёмом 64,47 ГБ до более компактных конфигураций с квантованием Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ. Квантование выполнено с использованием imatrix и llama.cpp версии b7721; некоторые варианты оптимизированы для снижения потребления памяти при сохранении качества, а наиболее качественными в README названы Q6_K_L, Q6_K и варианты Q5_K. Поддерживается шаблон диалога с ролями system, user и assistant. Архитектура, число параметров, контекстное окно, языки, мультимодальность и лицензия в предоставленных данных не указаны. Качество и требования к ресурсам зависят от выбранного варианта квантования: компактные версии экономичнее, но могут заметно уступать старшим по качеству.

Это GGUF-квантизированная версия языковой модели CohereForAI/c4ai-command-r-plus-08-2024, подготовленная пользователем legraphista с использованием llama.cpp и метода IMatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая локальный запуск через совместимые инструменты llama.cpp. Доступны варианты с разными уровнями квантования — от 16-битного FP16 до 1–8-битных форматов, включая Q4_K, Q3_K и Q2_K; часть вариантов использует IMatrix для улучшения качества при уменьшенном размере. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. К сильным сторонам относятся широкий выбор квантованных вариантов, возможность локального использования и компромисс между качеством, размером файлов и требованиями к памяти. При этом README не содержит сведений о точной архитектуре, числе параметров, размере контекста и результатах оценки, а низкие уровни квантования могут снижать качество по сравнению с исходной FP16-моделью. Распространение осуществляется по лицензии CC-BY-NC-4.0, допускающей использование с ограничениями, включая некоммерческий характер лицензии.

bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF — набор GGUF-квантизированных версий модели DeepSeek-R1-Distill-Qwen-32B, разработанной DeepSeek и подготовленной bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от BF16 до низкобитных Q3 и IQ3, а также Q4, Q5, Q6 и Q8. Размер файлов составляет примерно от 13,71 до 65,54 ГБ. Версии с более высокой точностью обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти; варианты Q4 и Q5 предлагают компромисс между качеством и потреблением ресурсов, а Q3 рассчитаны на системы с ограниченным объёмом памяти. Квантизация выполнена с использованием imatrix и llama.cpp release b4514. Это текстовая модель, однако README не содержит достоверных сведений о поддерживаемых языках, размере контекстного окна, точной архитектуре исходной модели, результатах оценки или специализированных сценариях применения. Лицензия в предоставленных данных также не указана. Для работы следует использовать рекомендованный формат prompt с системным сообщением, запросом пользователя и ответом ассистента.

DeepSeek-R1-ReDistill-Qwen-7B-v1.1-GGUF — набор GGUF-квантизованных версий модели mobiuslabsgmbh/DeepSeek-R1-ReDistill-Qwen-7B-v1.1, опубликованный ThomasBaruzier. Базовая модель — deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Квантизация выполнена с помощью llama.cpp с использованием imatrix и калибровочного файла Bartowski. Модель предназначена для локального запуска задач генерации текста и диалогового применения через совместимое с GGUF программное обеспечение, включая llama.cpp. Доступны варианты квантизации от IQ1_S и IQ1_M до более точных Q4, Q5 и других форматов; размер файлов в представленной таблице составляет примерно от 1,8 до 5,1 ГБ. Для отдельных вариантов указаны значения perplexity и accuracy: более крупные и точные квантизации обычно обеспечивают лучшее качество при повышенных требованиях к памяти. Ключевые характеристики архитектуры, поддерживаемые языки, максимальная длина контекста и мультимодальные возможности в README не указаны. Основные преимущества — широкий выбор компромиссов между размером, потреблением ресурсов и качеством, а также формат GGUF для локального инференса. Ограничения связаны с потерями качества при агрессивной квантизации и зависимостью от совместимого рантайма; приведённые метрики относятся к тестированию конкретных квантов и не гарантируют качество в любых сценариях. Распространение указано по лицензии MIT.

bartowski/DeepSeek-V2.5-1210-GGUF — это набор квантованных версий языковой модели DeepSeek-V2.5-1210, разработанной DeepSeek и подготовленной в формате GGUF для запуска через llama.cpp и совместимые приложения. Модель предназначена для генерации текста и локального инференса; README указывает pipeline_tag text-generation. Доступны варианты квантования от Q8_0 до Q2_K и IQ-квантов, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. Размеры отдельных вариантов составляют примерно от 76,92 до 250,62 ГБ, многие версии являются разделёнными файлами. Сильной стороной набора является широкий выбор квантований, включая варианты, рекомендованные автором как обеспечивающие высокое или хорошее качество, а также версии, оптимизированные для ARM или AVX. Ограничения связаны с очень большим объёмом модели, снижением качества при низких уровнях квантования и необходимостью использовать параметр --no-context-shift либо эквивалентную настройку для корректной политики переполнения контекста. Формат prompt должен соответствовать шаблону DeepSeek, приведённому в README. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Лицензия обозначена как deepseek; ссылка ведёт на лицензию модели DeepSeek.

QuantTrio/DeepSeek-V3.2-Exp-AWQ — AWQ-квантизированная версия экспериментальной языковой модели DeepSeek-V3.2-Exp, разработанной DeepSeek AI и опубликованной QuantTrio. Модель предназначена для генерации текста, диалоговых приложений и серверного инференса через Transformers и vLLM, включая сценарии с автоматическим выбором инструментов и вызовом функций. В основе лежит архитектура DeepSeek-V3.2-Exp с механизмом DeepSeek Sparse Attention (DSA), рассчитанным на повышение эффективности обучения и инференса при работе с длинными последовательностями. В README заявлена поддержка контекста до 32 768 токенов. Модель является текстовой; сведения о размере, количестве параметров и поддерживаемых языках не указаны. Размер файлов модели составляет около 373 ГБ. К сильным сторонам относятся снижение вычислительных затрат при обработке длинного контекста благодаря разреженному вниманию и совместимость с оптимизациями vLLM, включая expert parallelism и speculative decoding. Ограничения включают экспериментальный статус, необходимость специализированной конфигурации и минимум шести GPU для указанного односерверного запуска. На момент публикации заявлена поддержка только датацентровых GPU Hopper и Blackwell; производительность и совместимость с другим оборудованием могут отличаться. Модель распространяется по лицензии MIT.

dots.mocr — мультимодальная модель семейства dots_ocr от dots-studio для разбора документов и изображений с текстом. Она предназначена для распознавания текста и структуры страниц: находит элементы макета, их ограничивающие рамки и категории, извлекает текст и формирует Markdown. Также модель интерпретирует диаграммы, интерфейсы и научные иллюстрации и может преобразовывать структурированную графику в SVG-код; поддерживает интерактивный диалог по визуальному содержимому. Модель имеет плотную архитектуру DotsOCRForCausalLM и 1,5 млрд параметров; указанный размер контекста — 131 072 токена. Карточка заявляет мультиязычную поддержку, в том числе английского и китайского. Для развёртывания рекомендуются vLLM и Transformers; лицензия — MIT. Среди ограничений карточка отмечает трудности с комплексными таблицами и математическими формулами, недостаточно надёжный разбор графических изображений в SVG и периодические сбои разбора. Заявления о качестве на бенчмарках приведены в README, но сами таблицы с результатами здесь опущены.

jaspionjader/ek-4 — слитая автором jaspionjader языковая модель для генерации текста и диалогов. Она создана методом Model Stock с помощью mergekit на основе jaspionjader/ek-1 с включением jaspionjader/ek-3 и jaspionjader/Kosmos-EVAA-Franken-stock-v42-8B. Модель построена на плотной архитектуре Llama и содержит 7,5 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека Transformers. Лицензия в предоставленных данных не приведена.

Qwythos-9B-v2-GGUF — это квантизированная версия языковой модели Qwythos-9B-v2, разработанной Empero AI. Представлена в формате GGUF и подготовлена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов и задач, требующих рассуждений; в метаданных также указаны поддержка английского языка, long-context и uncensored-настройка. Модель имеет около 9 млрд параметров и распространяется в нескольких вариантах точности: от bf16 и Q8_0 до более компактных Q2–Q6 и IQ-квантов. Размер файлов составляет примерно от 5,1 до 18,4 ГБ. Квантование позволяет запускать модель локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты, выбирая компромисс между качеством и требованиями к памяти. Точная архитектура, максимальная длина контекста и перечень поддерживаемых модальностей в README не указаны; по имеющимся данным это текстовая модель без заявленной поддержки изображений, аудио или видео. Сильные стороны модели — локальный запуск, широкий выбор квантов и возможность подобрать вариант под доступный объём RAM или VRAM. Более высокие варианты, включая Q6_K_L, Q6_K, Q5 и Q4_K_M, ориентированы на сохранение качества, тогда как Q3 и Q2 подходят для систем с ограниченными ресурсами, но дают более низкое качество. Модель распространяется по лицензии Apache-2.0.

EXAONE-4.0-1.2B-GGUF — это компактная языковая модель семейства EXAONE 4.0, разработанная LG AI Research. Данная версия представлена в формате GGUF и предназначена для локального запуска, включая on-device-сценарии. Модель поддерживает генерацию текста, агентное использование инструментов, а также два режима работы: обычный и reasoning mode для решения более сложных задач. Модель содержит около 1,07 млрд параметров без учёта эмбеддингов, 30 слоёв и использует Grouped-Query Attention с 32 attention heads и 8 KV heads. Размер словаря составляет 102 400 токенов, контекст — до 65 536 токенов. Поддерживаются английский, корейский и испанский языки. Архитектурные особенности серии включают QK-Reorder-Norm; гибридная attention-схема с локальным и глобальным вниманием указана для 32B-версии, поэтому её применение к данной 1.2B-модели не подтверждено. Сильные стороны модели — небольшой размер, возможность локального и периферийного развертывания, многоязычность, поддержка reasoning mode и вызова инструментов. Ограничения включают существенно меньший размер по сравнению с 32B-версией, что может снижать качество на сложных задачах; конкретные показатели производительности и требования к ресурсам в README не приведены. Модель распространяется по лицензии EXAONE, обозначенной как other; подробные условия находятся в файле LICENSE.

MaziyarPanahi/Falkor-7b-Mistral-7B-Instruct-v0.2-slerp-GGUF — это квантованная версия языковой модели Falkor-7b-Mistral-7B-Instruct-v0.2-slerp, разработанная и подготовленная MaziyarPanahi. Модель основана на Mistral-7B-Instruct-v0.2 и предназначена для генерации текста и выполнения инструкций в локальных и серверных сценариях. Модель поставляется в формате GGUF, совместимом с llama.cpp и рядом приложений и библиотек для локального запуска, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другие. Доступны варианты квантования с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. Это позволяет выбирать компромисс между размером файла, требованиями к ресурсам и качеством генерации. Точное число параметров указано как 7B; поддерживаются текстовые задачи, однако сведения о языках и размере контекстного окна в README отсутствуют. Сильными сторонами являются уменьшенный размер квантованных файлов и возможность запуска на широком спектре локальных конфигураций с поддержкой CPU и GPU через совместимые инструменты. Ограничения включают потенциальное снижение качества при использовании более агрессивного квантования, а также отсутствие в README подробных результатов оценки, описания архитектуры с дополнительными деталями и характеристик мультимодальности. Модель распространяется по лицензии Apache-2.0.

cortexso/gemma2 — это семейство текстовых генеративных моделей Gemma, разработанное Google и подготовленное для использования в экосистемах Cortex и Jan. Модели обучались на сочетании синтетических данных и отфильтрованных общедоступных веб-данных с акцентом на качество и задачи, требующие рассуждений. Семейство предназначено для генерации и обработки текста в локальных приложениях и через интерфейсы Cortex CLI или Jan. В README указаны варианты Gemma2-2b, Gemma2-9b и Gemma2-27b; конкретные архитектурные параметры, поддерживаемые языки и модальности не описаны. Также приведена информация о вариантах контекстной длины 8K и 128K, но соответствие этих значений отдельным версиям не уточнено. Сильными сторонами заявлены качество данных обучения и ориентация на рассуждения, однако сведения о результатах тестирования, ограничениях и рекомендуемых сценариях отсутствуют. Лицензия указана как Gemma; оригинальная лицензия доступна в условиях Google Gemma.

Gemma-2-27B-it-SimPO-37K-100steps-GGUF — набор GGUF-квантизаций модели AALF/gemma-2-27b-it-SimPO-37K-100steps, подготовленный пользователем bartowski с помощью llama.cpp и imatrix. Это текстовая instruction-tuned модель для генерации ответов по запросам, диалога и других задач обработки текста; запуск предусмотрен через llama.cpp и совместимые приложения, включая LM Studio. Модель имеет заявленный размер 27 млрд параметров и поставляется в вариантах от F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Более точные варианты обеспечивают лучшее сохранение качества, но требуют больше памяти; компактные варианты подходят для систем с ограниченным объёмом RAM, при этом качество снижается. Для ARM доступны специальные варианты Q4_0, требующие поддержки соответствующих инструкций процессора. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности и результаты оценивания. К сильным сторонам относятся широкий выбор размеров файлов, возможность локального запуска и применение imatrix-квантования, а также наличие высококачественных вариантов Q6_K_L и Q6_K. Ограничения связаны с существенными требованиями к памяти у крупных вариантов и неизбежной потерей качества при сильном квантовании; сравнительные показатели и область наилучшего применения не приведены. Модель распространяется по лицензии Gemma.

unsloth/gemma-3-1b-it-bnb-4bit — квантизированная 4-битная версия instruction-tuned модели google/gemma-3-1b-it, основанной на семействе Gemma 3. Разработчик исходной модели — Google DeepMind; сборка и публикация варианта выполнены Unsloth. Модель предназначена для генерации текста по инструкциям, ответов на вопросы, суммаризации документов, рассуждений и понимания изображений. Модель мультимодальная: принимает текст и изображения, а генерирует текст. Для версии 1B заявлено контекстное окно до 32K токенов; изображения нормализуются до 896×896 пикселей и кодируются в 256 токенов, максимальный объём генерируемого ответа составляет 8192 токена. Поддерживается более 140 языков, включая английский; в метаданных этой карточки явно указан язык en. Небольшой размер и 4-битное представление упрощают локальное развёртывание на ноутбуках, настольных компьютерах и в облачной инфраструктуре с ограниченными ресурсами, однако квантизация может снижать точность по сравнению с полноразмерной версией. Модель распространяется по лицензии Gemma; применяются соответствующие условия использования Google. В README не приведены точные требования к аппаратному обеспечению, результаты тестирования или подробные сведения об архитектуре, поэтому производительность в конкретных задачах по этой карточке оценить нельзя.

onnx-community/gemma-3-270m-it-ONNX — ONNX-версия инструкционно дообученной модели Google Gemma 3 270M, разработанной Google DeepMind и предназначенной для запуска через Transformers.js. Модель генерирует текст по запросам, отвечает на вопросы, суммирует документы, выполняет рассуждения и может анализировать изображения с выдачей текстового ответа. Модель относится к компактному семейству Gemma 3 и имеет 270 миллионов параметров. Она поддерживает текстовые и, согласно карточке семейства Gemma 3, визуальные входы, при этом выходом является текст. Для вариантов 270M заявлен контекст до 32K токенов на запрос; модель ориентирована на работу более чем со 140 языками. Небольшой размер подходит для развёртывания на ноутбуках, настольных компьютерах и в собственной облачной инфраструктуре с ограниченными ресурсами. Сильными сторонами являются компактность, возможность локального запуска, инструкционное поведение и поддержка широкого набора текстовых задач. Ограничения включают меньший размер и, вероятно, более ограниченные возможности по сравнению с крупными вариантами Gemma 3; конкретные показатели качества и требования к аппаратному обеспечению в карточке не приведены. Модель распространяется на условиях лицензии Gemma; перед использованием необходимо ознакомиться с соответствующими Terms of Use.

MaziyarPanahi/gemma-3-4b-it-GGUF — набор файлов модели в формате GGUF для Google Gemma 3 4B Instruct, разработанной Google и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие инструменты экосистемы GGUF. Известно, что доступны варианты квантизации с разрядностью от 2 до 8 бит. Формат GGUF разработан командой llama.cpp как замена устаревшему GGML и поддерживает запуск с ускорением на GPU, а в некоторых инструментах — совместимые API и интеграцию с фреймворками. Эти варианты позволяют выбирать компромисс между размером файлов, требованиями к памяти и качеством, однако README не содержит точных сведений об архитектуре, контекстном окне, языках, модальностях и характеристиках производительности модели. Основные преимущества — возможность локального развертывания, широкий выбор уровней квантизации и поддержка несколькими популярными клиентами. Ограничения связаны с потерями качества, возможными при квантизации, а также зависимостью от конкретного рантайма и аппаратной конфигурации. Лицензия в README не указана.

gemma-4-E4B-it-Uncensored-MAX-GGUF — языковая модель от prithivMLmods, созданная на основе google/gemma-4-E4B-it. Это модифицированная версия с уменьшенным количеством встроенных отказов, ориентированная на подробные ответы, следование инструкциям, рассуждения и агентские сценарии. В README заявлена аблитерационная обработка и анализ направлений отказа, однако независимые характеристики качества не приведены. Модель относится к семейству Gemma и имеет размер E4B параметров. Она распространяется в формате GGUF, предназначенном, в частности, для llama.cpp и совместимых инструментов. Заявлена поддержка текстовых и визуальных входных данных через отдельные файлы mmproj, а pipeline обозначен как image-text-to-text. Указан английский язык; размер контекста и точная архитектура в README не приведены. Доступны варианты BF16, F16, F32, Q8_0 и соответствующие мультимодальные проекционные файлы. Сильными сторонами заявлены сохранение возможностей рассуждения и следования инструкциям исходной модели, а также снижение отказов при обработке запросов. При этом «uncensored» характер означает потенциально меньшую встроенную защиту, поэтому модель требует дополнительного контроля при использовании в чувствительных сценариях. Модель распространяется по лицензии Apache-2.0.

ibm-granite/granite-3.3-8b-instruct-FP8 — это версия модели Granite-3.3-8b-Instruct в формате FP8, разработанная IBM. Модель предназначена для генерации текста и использования в сценариях, требующих следования инструкциям; карточка указывает pipeline text-generation и совместимость с библиотекой Transformers. Модель основана на ibm-granite/granite-3.3-8b-instruct и содержит 8 миллиардов параметров, однако в представленном README не приведены сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна. Формат FP8 может быть полезен для более эффективного хранения и инференса, но конкретные требования к оборудованию и показатели качества не указаны. Модель распространяется по лицензии Apache-2.0. Для полного описания возможностей и ограничений рекомендуется обратиться к карточке базовой модели, поскольку текущий README содержит только краткую информацию о FP8-версии.

Granite-Embedding-311M-Multilingual-R2 — модель эмбеддингов текста, разработанная командой Granite Embedding компании IBM. Она использует плотный bi-encoder на архитектуре ModernBERT с 311,6 млн параметров и выдаёт векторы размерностью 768 для запросов, документов, фрагментов текста и кода. Максимальная длина контекста — 32 768 токенов; эмбеддинги можно сокращать до 512, 384, 256 или 128 измерений с постепенным снижением качества. Модель предназначена для семантического поиска, сопоставления запросов и документов, поиска по длинным текстам и межъязыкового поиска. Она поддерживает более 200 языков, а для 52 языков, включая русский, и ряда языков программирования прошла дополнительное обучение на парах для поиска и межъязыкового сопоставления. Поддерживаются Python, Go, Java, JavaScript, PHP, Ruby, SQL, C и C++. Векторы можно сравнивать, например, по косинусному сходству. В README указаны контрастивное дообучение, дистилляция знаний и слияние моделей. Доступны форматы Safetensors, ONNX и OpenVINO; лицензия Apache 2.0. Качество зависит от языка: для низкоресурсных языков оно может быть ниже, чем для языков с расширенной поддержкой; длинные входы сверх лимита контекста обрезаются. Фильтрация обучающих данных и синтетические данные могут вносить смещения.

Granite-Embedding-English-R2 — плотная двусторонняя модель эмбеддингов из семейства Granite Embeddings, разработанная командой Granite Embedding Team компании IBM. Модель на архитектуре ModernBERT содержит 149 млн параметров и преобразует текст в векторы размерности 768; максимальная длина контекста — 8192 токена. Для работы с моделью используются PyTorch и Sentence Transformers. Модель предназначена для поиска и извлечения информации: она кодирует запросы, passages и документы в векторы, которые можно сравнивать, например, по косинусному сходству. Подходит для семантического поиска, оценки сходства предложений и поиска по длинным документам, коду, таблицам и многоходовым диалогам. Обучение включало предобучение для задач поиска, контрастивное дообучение, дистилляцию и объединение моделей; разработчики сообщают о результатах на наборах BEIR, MTEB, CoIR, MLDR и других. Модель рассчитана на английский текст. Тексты длиннее 8192 токенов обрезаются. Распространяется по лицензии Apache 2.0.

Hermes-3-Llama-3.1-8B — языковая модель семейства Llama, опубликованная под идентификатором Unsloth на Hugging Face. Она предназначена для генерации текста и диалогового взаимодействия и может использоваться через библиотеку Transformers.

IntervitensInc опубликовала преобразованную версию InternLM2.5-20B с архитектурой Llama для генерации текста и диалогов. Репозиторий содержит веса в формате safetensors; размер модели составляет 19,3 млрд параметров. В README говорится, что конвертация и ручная правка токенизатора должны сохранять поведение исходной модели при температуре 0, однако это проверено лишь на небольших тестах и не подтверждено всесторонне. Модель предназначена для диалоговых сценариев, рассуждений и работы с длинным контекстом. README описывает исходную InternLM2.5 как модель с заявленной поддержкой контекста до 1 млн токенов, а метаданные этого репозитория указывают нативный контекст 262 144 токена; для этой сборки следует ориентироваться на значение из метаданных. В README приведены результаты оценки исходной модели на MMLU, CMMLU и BBH, но они не являются отдельной оценкой конвертированной версии. В README перечислены китайский и английский наборы оценки, что указывает на релевантность китайского и английского языков; метаданные не задают языковые коды. Модель может генерировать предвзятые, дискриминационные или иные нежелательные ответы. Указана лицензия Apache-2.0 для кода; для весов README сообщает об открытом доступе для академических исследований и необходимости запросить бесплатное коммерческое разрешение.

Mungert/InternVL3-8B-GGUF — GGUF-версия мультимодальной модели InternVL3-8B, созданной командой OpenGVLab. Модель предназначена для обработки текста и изображений, включая визуальное восприятие и рассуждение, анализ промышленных изображений, работу с GUI-агентами, инструментами и задачами 3D-восприятия. В карточке также указана поддержка многоязычных сценариев. Архитектура сочетает vision-компонент InternViT-300M-448px-V2_5 и языковую часть Qwen2.5-7B; общий класс модели — 8B параметров. Эта публикация представляет собой преобразованный формат GGUF, сгенерированный с использованием llama.cpp. Автор применил собственный подход к квантованию: отдельные важные слои переводятся в более высокую точность, что увеличивает размер файла, но, по заявлению автора, может улучшать точность при заданном уровне квантования, особенно на низкой разрядности. Сильными сторонами являются мультимодальность, сочетание визуального анализа с языковым рассуждением и возможность локального использования в экосистеме llama.cpp благодаря формату GGUF. Ограничения включают зависимость качества, размера и требований к ресурсам от выбранного варианта квантования; конкретные поддерживаемые языки, размер контекста и результаты независимого тестирования в карточке не указаны. Для модели указана лицензия Apache-2.0, однако в метаданных также приведена ссылка на лицензию Qwen.

Это неофициальная community-квантизация в формате GGUF модели Kimi-Linear-48B-A3B-Instruct, разработанной Moonshot AI. Квантизация выполнена с использованием метода APEX и предназначена для запуска через llama.cpp; модель не связана с Moonshot AI и не endorsed этой организацией. Модель представляет собой гибридную MoE-архитектуру с 48 млрд параметров всего и примерно 3 млрд активных параметров. В большинстве слоёв используется KDA (Kimi Delta Attention, gated-delta linear attention), а в отдельных слоях — полноценное MLA-внимание; FFN построен на 256 маршрутизируемых и одном общем эксперте. Заявленное окно контекста достигает 1 048 576 токенов, однако размер контекста необходимо явно задавать при запуске. Модель предназначена для генерации текста, диалогов и сценариев с инструментами; README не указывает перечень поддерживаемых языков. Доступны варианты APEX-balanced, APEX-i-quality и экспериментальный APEX-handroll. Рекомендуется APEX-balanced: его размер около 33 ГБ, тогда как i-quality занимает около 29 ГБ и показывает увеличение perplexity примерно на 0,34% относительно эталонной версии bf16. Ключевое преимущество — существенное уменьшение размера при сохранении качества, но для работы требуются сборка llama.cpp с поддержкой архитектуры kimi_linear и kimi-k2 pre-tokenizer, а также значительные ресурсы RAM/VRAM. Лицензия MIT распространяется на компоненты, указанные в README.

LLaDA2.2-mini — компактная по числу активируемых при инференсе параметров языковая модель InclusionAI из серии LLaDA2.2. Это диффузионная модель Mixture-of-Experts (MoE) с архитектурой LLaDA2MoeModelLM; метаданные указывают 1,2 млрд параметров, а карточка описывает 16 млрд общих параметров и 1,4 млрд активируемых при инференсе. Модель рассчитана на генерацию текста и диалог, включая многошаговое взаимодействие с инструментами и исправление ошибок. Контекстное окно составляет 128K токенов. Механизм Levenshtein Editing с управляющими токенами DELETE и INSERT позволяет удалять и вставлять фрагменты при генерации, а Block Routing ограничивает активацию MoE-экспертов на уровне блоков диффузии. В README рекомендованы Transformers версии 5.2.0 или новее; для длинноконтекстных сценариев с инструментами предлагается SGLang. Качество и скорость зависят от порогов денойзинга: низкие пороги могут ускорить инференс, но приводить к повторяющимся или нестабильным ответам. Модель распространяется по лицензии Apache-2.0. В предоставленных материалах языки обучения или поддерживаемые естественные языки не перечислены.

Llama 2 13B Chat — языковая модель Meta, представленная в формате GGUF и квантизированная TheBloke. Она основана на исходной модели Meta Llama 2 13B Chat и предназначена для генерации текста и ведения диалогов с использованием инструкций в формате Llama-2-Chat. Модель ориентирована на сценарии чат-ассистентов, локального запуска, генерации текста и интерактивных приложений. Указан английский язык. Архитектура — Llama, размер — 13 миллиардов параметров; модель работает в текстовой модальности. Формат GGUF поддерживает метаданные, специальные токены и улучшенную токенизацию, а также совместим с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Сильными сторонами являются возможность локального запуска на CPU и GPU, поддержка множества инструментов инференса и наличие нескольких вариантов квантизации. Ограничения включают зависимость характеристик от выбранного уровня квантизации; сведения о размере контекста, точных архитектурных деталях и качестве на конкретных задачах в README не указаны. Модель распространяется по лицензии Llama 2.

TheBloke/Llama-2-70B-GGUF — это квантованные файлы большой языковой модели Llama 2 70B, разработанной Meta. Модель предназначена для генерации текста и может использоваться в локальных сценариях: чат-ботах, ассистентах, написании и преобразовании текста, а также других задачах, поддерживаемых text-generation. Указан английский язык; сведения о мультимодальности отсутствуют, поэтому модель следует считать текстовой. Модель основана на Llama 2 70B и распространяется в формате GGUF, разработанном командой llama.cpp. Формат поддерживает метаданные, специальные токены и улучшенную токенизацию. Репозиторий подготовлен TheBloke и содержит варианты квантования от 2 до 8 бит для инференса с использованием CPU и GPU; доступны методы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K с различным компромиссом между размером, скоростью и сохранением качества. Модель совместима с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. К сильным сторонам относятся возможность локального запуска, поддержка CPU и GPU, широкий выбор уровней квантования и совместимость с популярными инструментами. Ограничениями являются очень большой размер исходной модели, потенциальное снижение качества при агрессивном квантовании и отсутствие в предоставленных данных сведений о размере контекста, производительности, точных требованиях к памяти и специализированном дообучении. Лицензия указана как llama2; условия её применения следует проверять в документации Meta.

nreHieW/Llama-3.1-8B-Instruct — копия Meta Llama 3.1 8B Instruct от Meta, опубликованная пользователем nreHieW. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия; заявленная длина контекста составляет 131 072 токена. Модель принимает текст и генерирует текст. README отсылает к репозиторию Meta для условий лицензии и рекомендует получить одобрение перед использованием; дополнительные сведения о языках и специализированных областях применения в предоставленных данных отсутствуют.