I.3Извлечение и структурирование данных

microsoft_Phi-4-reasoning-GGUF — это набор GGUF-квантизированных вариантов языковой модели Phi-4-reasoning, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов, решения математических задач, работы с кодом и задач, требующих рассуждений. Модель поддерживает текстовый ввод и вывод; в метаданных указан английский язык. Доступны варианты от BF16 до низкобитных квантов Q8_0, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, требованиями к памяти и скоростью локального запуска. Размер файлов варьируется примерно от 8,4 до 29,3 ГБ. Архитектура, число параметров, максимальный контекст и дополнительные модальности в README не указаны. Сильными сторонами являются наличие вариантов с разным уровнем сжатия, высокая заявленная точность старших квантов и совместимость с llama.cpp, LM Studio и другими проектами на его основе. Ограничения включают возможное снижение качества у низкобитных вариантов, необходимость значительного объёма памяти и отсутствие подробных данных о производительности, контекстном окне и поддерживаемых языках помимо английского. Распространение указано по лицензии MIT.

insraq/MiniCPM5-2B-heretic-abliterated — производная версия MiniCPM5-2B, опубликованная пользователем insraq. Это плотная причинная языковая модель на 2,2 млрд параметров с архитектурой LlamaForCausalLM, рассчитанная на локальных помощников, программирование, математику, длинный контекст и сценарии с вызовом инструментов. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Модель серии MiniCPM5 разработана для локального запуска на устройствах и в условиях ограниченных ресурсов; карточка заявляет сильные результаты среди моделей сопоставимого размера в программировании, математике, понимании длинного контекста и использовании инструментов. В названии указано abliterated, а теги описывают модель как uncensored/decensored, однако README не объясняет метод получения этой версии и не приводит её отдельную оценку. README базовой модели предупреждает о возможных неточностях, предвзятых или оскорбительных ответах и отсутствии экспертной проверки чувствительных тем. Модель распространяется по лицензии Apache-2.0.

Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

Карточка модели sagar-rasakonda/Mistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой mistralai/Mistral-7B-Instruct-v0.2, поэтому описание составлено по ней. Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

EmbeddedLLM выпустила Mistral-7B-Merge-14-v0.3 — экспериментальную объединённую модель на базе Mistral-7B-v0.1. Она создана методом DARE TIES путём слияния 14 моделей Mistral-7B, обученных для диалога, следования инструкциям, работы с документами, математикой и кодом. Модель содержит 7,1 млрд параметров и принимает текст для генерации продолжений и ответов; максимальный контекст составляет 32 768 токенов. Модель рассчитана на генерацию текста, ответы на инструкции и диалоговые сценарии. Авторы приводят средний результат 69,66 в Open LLM Leaderboard и отмечают, что модель может потребовать дополнительной настройки для чата; в README также указана более сильная версия v0.4. Карточка ориентирована на английский язык. Репозиторий распространяется по лицензии Apache-2.0.

Nanbeige4.1-3B-GGUF — квантованная версия языковой модели Nanbeige4.1-3B, разработанной командой Nanbeige на базе Nanbeige4-3B-Base. Модель дообучалась с применением supervised fine-tuning и reinforcement learning и предназначена для генерации текста, рассуждений, программирования, решения математических и научных задач, использования инструментов и агентных сценариев. Репозиторий GGUF подготовлен Mungert с использованием llama.cpp. Модель относится к компактному классу с примерно 3 млрд параметров, работает с текстом и заявлена для английского и китайского языков. Среди заявленных сильных сторон — многошаговое рассуждение, согласование предпочтений и способность поддерживать длительные агентные процессы с большим числом вызовов инструментов. В README также описан специальный подход к квантованию: отдельные важные слои переводятся в более высокую точность, что может повысить качество при сохранении относительно небольшого размера файлов, но увеличивает их объём. Конкретный контекстный размер и параметры отдельных вариантов квантования не указаны, а фактическое качество зависит от выбранного GGUF-файла и настроек запуска. Модель распространяется по лицензии Apache 2.0. Она подходит для локального запуска через совместимые инструменты экосистемы llama.cpp и для приложений, которым нужны рассуждения, генерация кода или агентное взаимодействие при ограниченных вычислительных ресурсах. Как компактная и квантованная модель, она может уступать более крупным или полноточным системам в отдельных задачах; приведённые результаты относятся к исходной Nanbeige4.1-3B и не обязательно полностью характеризуют каждый GGUF-вариант.

QuantFactory/Nous-Hermes-2-SOLAR-10.7B-GGUF — квантизированная версия Nous-Hermes-2-SOLAR-10.7B, созданная с помощью llama.cpp. Базовую модель разработала Nous Research на основе SOLAR 10.7B; обучение проводилось на 1 000 000 примеров, преимущественно сгенерированных GPT-4, а также на качественных данных из открытых наборов, включая teknium/OpenHermes-2.5. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций, включая задачи программирования и рассуждений. Она работает в формате instruct/chat и использует шаблон ChatML. Указан английский язык, поддерживаются текстовые входы и выходы; размер модели — 10,7 млрд параметров. Квантизация снижает требования к ресурсам по сравнению с исходной моделью, но конкретный формат квантизации, размер контекста и аппаратные требования в README не указаны. По заявлению авторов, модель заметно превосходит базовую SOLAR 10.7B на бенчмарках GPT4All, AGIEval, BigBench и TruthfulQA; для GPT4All указан средний результат 74,69%, для AGIEval — 47,79%. Ограничения включают ориентацию на английский язык, возможные ошибки и галлюцинации, а также отсутствие подробной информации о варианте квантизации и эксплуатационных требованиях. Модель распространяется по лицензии Apache-2.0.

Phi-3.5-MoE-instruct-GGUF — это набор GGUF-квантизованных версий инструкционной языковой модели Phi-3.5-MoE-instruct, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с кодом и многоязычными запросами, и может запускаться локально через llama.cpp или LM Studio. В набор входят варианты от F16 до низкоразрядных Q2 и IQ-квантизаций размером примерно от 15 до 84 ГБ. Доступны версии с различным компромиссом между качеством, требованиями к памяти и скоростью работы; наиболее качественными считаются F16, Q8_0 и Q6, а Q4-варианты ориентированы на более широкий круг локальных сценариев. Модель относится к архитектуре Mixture of Experts, однако точные сведения о числе параметров, длине контекста и поддерживаемых языках в README не указаны; заявлена многоязычность. Сильные стороны — широкий выбор форматов, локальный запуск и возможность подобрать размер модели под доступные ресурсы. Ограничения зависят от уровня квантизации: уменьшение размера может снижать качество, а даже компактные варианты требуют значительного объёма памяти. Модель распространяется по лицензии MIT.

Phi-3-mini-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Phi-3-mini-128k-instruct, разработанной Microsoft. Модель предназначена для генерации текста и диалоговых сценариев, включая обработку запросов и работу с кодом. Она поддерживает английский язык, использует формат GGUF и рассчитана на контекст до 128 000 токенов. Для работы в GaiaNet предусмотрен шаблон prompt phi-3-chat. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, с размером файлов примерно от 1,42 до 7,64 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем размере. Более агрессивная квантизация уменьшает требования к ресурсам, но может заметно ухудшать качество ответов. Модель ориентирована преимущественно на английские задачи; сведения о мультимодальности отсутствуют. Квантизацию выполнила Second State Inc. Лицензия — MIT.

bartowski/phi-4-GGUF — это набор GGUF-квантизаций языковой модели Phi-4, разработанной Microsoft. Модель предназначена для генерации текста, диалоговых сценариев, решения математических задач, программирования и других задач NLP. В README указана поддержка английского языка и текстовая модальность; исходная модель доступна на Hugging Face как microsoft/phi-4. Набор создан с использованием llama.cpp и метода imatrix, включает варианты от F32 и F16 до низкобитных Q2–Q8-квантизаций. Размер файлов варьируется примерно от 4,49 до 58,64 ГБ, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Для запуска рекомендуются llama.cpp и LM Studio. Указан шаблон prompt с маркерами системного, пользовательского и ассистентского сообщений, а также исправления tokenizer по рекомендациям команды Unsloth. Сильная сторона набора — широкий выбор вариантов квантизации, включая версии, ориентированные на высокое качество или ограниченный объём RAM. Ограничения зависят от выбранной квантизации: низкобитные варианты занимают меньше памяти, но обеспечивают более низкое качество. Архитектура, число параметров и размер контекста в README не указаны. Лицензия — MIT.

6block/Qwen3-14B-GGUF — набор GGUF-квантизированных версий языковой модели Qwen3-14B, разработанной Qwen. Квантизацию выполнил 6block с использованием llama.cpp и метода imatrix; исходная модель доступна как Qwen/Qwen3-14B. Модель предназначена для генерации текста и программного кода, включая двуязычные сценарии на английском и китайском языках, и может применяться локально через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантизации от Q8_0 до Q2_K размером примерно от 15,70 до 5,75 ГБ. Для калибровки использовался датасет с английскими, китайскими и программными текстами, что должно помогать сохранять способности к работе с китайским языком и кодом в моделях с низкой разрядностью. Более высокие варианты обычно обеспечивают лучшее качество, а низкоразрядные требуют меньше памяти, но сильнее ограничены потерями качества; I-кванты могут быть эффективнее по качеству на размер, но медленнее K-квантов на CPU. Архитектура, длина контекста и точный набор поддерживаемых языков в карточке не указаны. Модель распространяется по лицензии Apache 2.0. Для запуска требуется подходящее локальное программное обеспечение и объём RAM или VRAM, соответствующий выбранному файлу; конкретные требования зависят от варианта квантизации.

Это мультимодальная модель Qwen3.6-27B, созданная darkc0de на основе Qwen/Qwen3.6-27B и дообученная на примерах рассуждений Claude Opus. Затем модель прошла decensoring методом abliteration с помощью Heretic v1.3.0; опубликованные параметры и сравнение показывают снижение частоты отказов с 98 до 8 на 100 запросах относительно исходной версии distill. Модель предназначена для диалогов, программирования, творческого письма, понимания изображений и задач общего назначения. Архитектура плотная, с 27 млрд параметров; заявлена поддержка изображений и текстового чата. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. Для запуска автор отсылает к инструкциям команды Qwen.

benjzzz/Qwen3.8-27B-BenQ-6bit — квантованная версия мультимодальной модели Qwen3.8-27B, опубликованная автором benjzzz. Веса и vision tower представлены методом BenQ: 6-битные коды с отдельной таблицей значений для каждой строки, что, по README, даёт 6,16 бит на вес с учётом таблиц. Модель принимает текст и изображения и предназначена для диалогов, анализа изображений и программирования; метаданные также указывают интерфейс вызова инструментов. Для генерации текста в README приведён пример с кодом Python.

Карточка модели txchmechanicus/Qwopus3.6-35B-A3B-v1 на Hugging Face совпадает с карточкой Jackrong/Qwopus3.6-35B-A3B-v1, поэтому описание составлено по ней. Qwopus3.6-35B-A3B-v1 — экспериментальная мультимодальная модель с разреженной архитектурой MoE, созданная Jackrong путём дообучения Qwen3.6-35B-A3B с помощью LoRA и трёх этапов supervised fine-tuning. В базовой модели 35 млрд параметров, из которых активно около 3 млрд на токен; она сочетает линейное внимание Gated DeltaNet с обычными слоями gated attention и рассчитана на контекст до 262 тысяч токенов. Модель предназначена для диалогов, рассуждений, работы с изображениями и инструментами, а также задач программирования, математики, науки и следования инструкциям. Автор заявляет улучшения в структурированности рассуждений и последовательности ответов; карточка приводит результаты независимого теста, но отмечает, что полная оценка производительности и безопасности не проводилась. Поддерживаются английский, китайский, испанский, русский и японский языки. Лицензия — Apache-2.0.

Qwopus3.8-27B-Flash-V2-bf16 — конверсия модели Jackrong/Qwopus3.8-27B-Flash-V2 в формат MLX BF16, подготовленная сообществом mlx-community для запуска на компьютерах Apple Silicon. Это мультимодальная модель семейства Qwen3.5 с архитектурой условной генерации; она принимает текст, изображения и видеоматериалы и поддерживает чат, работу с инструментами и генерацию кода. В конверсии сохранены шаблон чата и настройки мультимодального процессора исходной модели. Модель подходит для диалогов и задач с кодом, а также для вопросов по изображениям и видео. Для мультимодального запуска README рекомендует библиотеку mlx-vlm. Модель распространяется по лицензии Apache 2.0, унаследованной от исходной модели; подробности о назначении и ограничениях приведены в её исходной карточке.

SmolLM2-1.7B-Instruct-bnb-4bit — компактная 4-битная предварительно квантованная версия инструкционной языковой модели SmolLM2-1.7B, разработанной Hugging Face. Модель предназначена для выполнения широкого спектра текстовых задач и достаточно легковесна для запуска на устройствах с ограниченными ресурсами. Вариант Instruct дополнительно обучен следовать инструкциям с помощью supervised fine-tuning и Direct Preference Optimization (DPO). Модель содержит 1,7 млрд параметров и работает с текстом на английском языке. Она ориентирована на диалоговые сценарии, переписывание и суммаризацию текста, решение задач, работу с кодом и function calling. Обучение базовой модели проводилось на 11 трлн токенов из наборов FineWeb-Edu, DCLM, The Stack, а также математических и кодовых данных; инструкционная версия использовала публичные и подготовленные разработчиками наборы, включая UltraFeedback и Synth-APIGen-v0.1. README не содержит сведений о размере контекстного окна и точной архитектуре. Ключевые преимущества — малый размер, сниженные требования к памяти благодаря 4-битной квантованию и улучшения в следовании инструкциям, знаниях, рассуждениях и математике по сравнению с SmolLM1-1.7B. Ограничения включают заявленную поддержку только английского языка и потенциальные компромиссы в качестве, вызванные квантованием и компактным размером. Модель распространяется под лицензией Apache-2.0.

Supertron1-4B — инструктивно дообученная языковая модель от Surpem на базе Qwen/Qwen3-4B. Это плотный причинный Transformer примерно на 3,7 млрд параметров, предназначенный для диалогов, следования инструкциям, математических рассуждений, программирования и повседневной генерации текста. Модель принимает текст и выдаёт текст; заявленная длина контекста — 40 960 токенов. В метаданных указана поддержка английского языка. По заявлению автора, настройка на математические и программные задачи обеспечивает хорошие результаты на GSM8K и HumanEval, а модель остаётся достаточно компактной для запуска на потребительском оборудовании. Эти сравнения приведены в README без подробностей методики оценки. Модель распространяется в формате Safetensors под лицензией Apache 2.0.

Swift-1.5-Qwen3.8-27B-Uncensored-BF16 — мультимодальная модель на архитектуре Qwen3.5, выпущенная d0xin как производная от дообученной UkisAI модели Swift 1.5. К ней применена ранговая абляция направления в residual stream, предназначенная для снижения частоты отказов при сохранении возможностей исходной модели. Модель принимает текст и изображения и предназначена для диалогов, рассуждений, программирования, агентных сценариев и вызова инструментов. В README указаны контекст 262 144 токена и формат BF16; веса занимают около 52 ГБ и распределены по 18 файлам Safetensors. Заявлена поддержка мультимодальной архитектуры и сохранение vision tower. Автор отмечает, что проверка поведения, сохранения возможностей и производительности этой производной модели ещё продолжается; результаты бенчмарков не опубликованы. Снижение отказов может приводить к генерации небезопасного, оскорбительного или неточного контента. Лицензия в метаданных обозначена как other, поэтому перед использованием следует проверить её условия на странице модели.

Toffee-3B-β — языковая модель для генерации текста и диалогового взаимодействия, разработанная maxzt. Модель дообучена на базе mistralai/Ministral-3-3B-Base-2512 с целью создания компактного полезного ассистента. Основной язык — английский; заявленные сценарии включают чат, выполнение инструкций, ответы на вопросы, рассуждения, математические задачи и программирование. Модель содержит около 3 млрд параметров и использует архитектуру Ministral 3 семейства Mistral. Длина контекста составляет 8 192 токена, размер словаря — 131 072, размер скрытого состояния — 3 072, 26 слоёв, 32 attention heads и 8 KV heads. Базовая точность указана как BF16. Дообучение выполнено методом SFT с LoRA на наборах UltraChat 200k, OpenMathInstruct-2 и CodeFeedback-Filtered-Instruction; использовалось до 80 000 примеров. Сильными сторонами являются компактный размер, пригодность для локального развёртывания и хорошие результаты на ряде стандартных тестов для моделей этого класса: 63,10% на MMLU, 72,04% на HellaSwag, 84,98% на BoolQ и 68,11% на Winogrande. Ограничения включают преимущественно англоязычную специализацию, небольшой контекст в 8 192 токена и отсутствие заявленной мультимодальности. Результаты на бенчмарках могут зависеть от настроек оценки и не гарантируют аналогичное качество в прикладных сценариях. Лицензия — MIT.

Zrald/Zrald-qwen3.8-27b-v2 — выпуск GGUF модели Qwen3.8-27B от Zrald, предназначенный для локального запуска через llama.cpp. Это плотная модель с 27,2 млрд параметров; в репозитории представлены три варианта с разным соотношением размера и точности: accuracy, balance и compressed. README сообщает о сравнительных испытаниях на AMD Instinct MI300X и CPU, однако эти результаты относятся к оценке автора и не гарантируют аналогичное качество на других задачах и системах. Модель рассчитана на генерацию текста в диалогах, программирование, анализ документов, ответы на вопросы и многошаговые рассуждения. README описывает локальное обслуживание через OpenAI-совместимый API и приводит рекомендации по памяти и видеопамяти. В метаданных базовая модель указана как Qwen/Qwen3.8-27B, а формат файлов — GGUF; лицензия — Apache-2.0. Карточка не сообщает длину контекста или языковой охват, поэтому эти характеристики здесь не уточняются.

Accio-Lab_occamy-1.0-GGUF — это квантизированная версия модели occamy-1.0, разработанной Accio-Lab и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 35 млрд параметров и предназначена для локального запуска в задачах агентного взаимодействия, совместной работы, использования инструментов и программирования. Модель поддерживает мультимодальный ввод: текст и изображения при наличии файла mmproj. В карточке также заявлены архитектура mixture-of-experts и поддержка длинного контекста, однако точный размер контекстного окна и перечень поддерживаемых языков не указаны. Спекулятивное декодирование не поддерживается, а для квантизации использована imatrix. Доступны варианты от BF16 до низкобитных Q2–Q8, что позволяет выбирать между качеством, требованиями к памяти и скоростью; рекомендуемым универсальным вариантом назван Q4_K_M размером 22,32 ГБ. К сильным сторонам относятся большой размер, поддержка изображений, сценариев tool-use и агентных приложений, а также широкий выбор уровней квантизации. Ограничения связаны с высокими требованиями к памяти даже для компактных вариантов, необходимостью отдельного mmproj-файла для работы с изображениями и отсутствием в README подробных результатов тестирования, сведений о языках и точном контексте. Модель распространяется по лицензии Apache-2.0.

Карточка модели Vladimirval/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

C4AI Command-R v01 — авторегрессионная плотная языковая модель Cohere и Cohere For AI на 35 млрд параметров, выпущенная с открытыми весами. Она предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и работы с RAG; также обучена формировать вызовы инструментов в специальном формате диалога. Модель принимает и генерирует текст. Она построена на оптимизированном трансформере, после предварительного обучения прошла дообучение с учителем и обучение на предпочтениях. Контекст составляет 128K токенов. Модель рассчитана на английский, французский, немецкий, испанский, итальянский, бразильский португальский, японский, корейский, упрощённый китайский и арабский; русский входил в дополнительные языки предобучения, но не указан среди языков, на которых модель специально оптимизирована. Весам требуется следовать лицензии CC-BY-NC-4.0 и Политике допустимого использования C4AI. Для вызова инструментов рекомендуется использовать предусмотренный шаблон диалога: отклонение от него может снизить качество. README указывает на сильные возможности RAG, но для их использования нужно предоставить модели найденные документы и соответствующий формат запроса.

Caliburn 12B Merged — языковая модель на архитектуре Transformer семейства Mistral, созданная автором репозитория путём слияния нескольких существующих моделей с помощью MergeKit. Модель содержит 12,1 млрд параметров и предназначена для генерации текста общего назначения; карточка указывает английский язык. В метаданных заявлен контекст 1 024 000 токенов, библиотека Transformers и формат Safetensors. Модель можно использовать для генерации текста, продолжения кода, ответов на вопросы и суммаризации. Метаданные также отмечают интерфейс чата и интерфейс вызова инструментов. Модель распространяется по лицензии MIT. Автор предупреждает о возможных предубеждениях, ошибках и бессмысленных ответах; результаты следует проверять, а для важных решений необходим контроль человека.

Dirk-Qwen3.8-27B-GGUF — это квантованная GGUF-версия плотной мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем npario. Модель предназначена для диалогов, агентного программирования, анализа изображений и других задач, требующих генерации текста с поддержкой vision-language. Она рассчитана на запуск через llama.cpp и совместимые рантаймы. Модель сохраняет веса исходной Qwen3.8-27B, vision-возможности и MTP-голову nextn для multi-token prediction и speculative decoding. В поставку включён Sharp chat template, ориентированный на краткие ответы и работу без дополнительной настройки шаблона. Поддерживаются английский и китайский языки. Доступны уровни reasoning_effort low, medium и xhigh; high является псевдонимом xhigh, а рассуждения можно полностью отключить. Контекстный размер в README не указан. Сильные стороны модели — компактные ответы, потенциально более высокая скорость генерации благодаря MTP и широкий выбор квантов Dynamic 3.0 UD размером примерно от 9,8 до 31,5 ГБ. Ограничения связаны с потерями качества у малобитных квантов, требованиями к видеопамяти и необходимостью использования совместимого vision-проектора mmproj-F16.gguf для работы с изображениями. Модель распространяется по лицензии Apache-2.0.

Dolphin-2.9.2-Phi-3-Medium-abliterated-GGUF — это квантованное в формате GGUF семейство версий языковой модели Dolphin-2.9.2-Phi-3-Medium-abliterated. Исходная модель опубликована cognitivecomputations, а квантование выполнено bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в диалоговых и инструкционных сценариях, включая программирование, решение математических задач, работу с агентскими инструкциями и обычный чат. Указан английский язык; сведения о поддержке других языков отсутствуют. Модель основана на unsloth/Phi-3-mini-4k-instruct и обучалась на наборах Dolphin-2.9.2, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Agent-FLAN и других. Доступны варианты квантования от Q8_0 до Q2_K и IQ2/IQ3/IQ4; размер файлов составляет примерно от 4,19 до 14,83 ГБ. Более высокие уровни квантования обычно сохраняют лучшее качество, а низкие уменьшают требования к памяти ценой качества. Архитектура, точное число параметров, модальности и фактический размер контекста в README не указаны, однако название базовой модели указывает на вариант с контекстом 4K. Сильными сторонами являются локальный запуск через llama.cpp, широкий набор инструкционных и кодовых данных, а также выбор вариантов квантования для разного объёма доступной памяти. Ограничения включают возможное снижение качества у низкобитных вариантов и отсутствие подтверждённых характеристик производительности или безопасности; обозначение abliterated также указывает на модификацию исходной модели, поэтому ответы требуют проверки. Модель распространяется по лицензии MIT.

Dolphin V2 8B Abliterated — языковая модель для генерации текста, разработанная 0arch-io для исследовательских задач TRC на базе Qwen/Qwen3-8B. Модель дообучена на 1,35 млн инструкционных примеров, включая данные для диалогов, следования инструкциям, математического рассуждения и генерации кода, а затем подвергнута abliteration — удалению остаточного поведения отказа от ответов. Заявлена как модель без контентных фильтров, поэтому требует ответственного применения. Модель построена на архитектуре Qwen3ForCausalLM и содержит около 8,2 млрд параметров: 36 слоёв, 4096-мерное скрытое представление, 32 attention heads и 8 KV heads. Она работает в формате bfloat16, поддерживает контекст длиной до 4096 токенов в обучении и до 40960 токенов согласно заявленному максимальному ограничению. Указан английский язык и сценарий text generation. В README приведены результаты на ARC-Challenge, HellaSwag, TruthfulQA и Winogrande, однако они не характеризуют все прикладные сценарии. К сильным сторонам относятся instruction tuning, диалоговые и кодовые задачи, математическое reasoning, а также доступность GGUF-квантизаций Q8_0 и Q4_K_M для локального запуска через llama.cpp или Ollama. Ограничения включают отсутствие защитных отказов и фильтров, исследовательский статус и отсутствие данных о качестве на других языках и более широком наборе задач. Модель распространяется по лицензии Apache 2.0.

EpistemeAI/Fireball-Llama-3.1-8B-v1dpo — диалоговая языковая модель на архитектуре Llama 3.1, выпущенная EpistemeAI. Это дообученная версия unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit с 7,5 млрд параметров; она поддерживает генерацию текста, диалог и интерфейс вызова инструментов. Модель предназначена для создания чат-ассистентов, генерации ответов и интеграции с внешними инструментами. Контекстное окно составляет 131 072 токена. В карточке описано использование через Transformers и исходную кодовую базу Llama. Указаны английский и поддержка многоязычного ввода и вывода; исходная Llama 3.1 поддерживает также французский, немецкий, хинди, итальянский, португальский, испанский и тайский. Качество и безопасность ответов могут варьироваться: возможны ошибки, предвзятые или нежелательные ответы, поэтому перед развёртыванием нужны проверки для конкретного сценария. Лицензия — Apache-2.0.

FuseChat-7B-TA — диалоговая языковая модель FuseAI, разработанная в рамках исследовательской работы учёных Университета Сунь Ятсена. Это вариант FuseChat-7B, полученный слиянием знаний нескольких чат-моделей; версия TA использует один из методов слияния. В метаданных указаны архитектура Mistral, 7,1 млрд параметров и базовая модель OpenChat 3.5, дообучение которой также входит в процесс создания FuseChat. Модель предназначена для диалогов и выполнения текстовых инструкций общего назначения, включая ответы на вопросы, письмо, ролевые сценарии, рассуждения, математику, программирование и темы STEM и гуманитарных наук. Контекст составляет 8192 токена. В README для FuseChat-7B-TA указана средняя оценка 8,20 на MT-Bench. Модель принимает и выдаёт текст; в карточке отмечен английский язык. Слияние позволяет объединить способности нескольких моделей в одной без необходимости загружать несколько экспертов во время инференса. Модель выпущена под лицензией Apache-2.0. Показатель MT-Bench не гарантирует качество для конкретной задачи; подтверждённые возможности в карточке ограничены генерацией текста и чатом.

google/gemma-2b-AWQ — AWQ-квантизированная версия базовой модели Gemma-2B, разработанной Google. Это компактная decoder-only большая языковая модель с открытыми весами, обученная на основе технологий, использованных при создании Gemini. Модель работает с текстом и ориентирована преимущественно на английский язык. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений, работы с программным кодом и математическими запросами. Она принимает текстовые строки, включая вопросы, инструкции и документы, а возвращает сгенерированный английский текст. Небольшой размер делает её подходящей для запуска на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре с ограниченными ресурсами; также предусмотрено последующее дообучение. При обучении использовалось около 6 триллионов токенов из веб-документов, кода и математических материалов с применением фильтрации вредоносного и чувствительного контента. README не указывает размер контекстного окна и конкретные характеристики архитектуры помимо класса decoder-only. Это базовая, а не instruction-tuned версия, поэтому для диалоговых сценариев и точного следования инструкциям могут потребоваться дополнительное дообучение или специальное форматирование запросов. Квантизация AWQ снижает требования к ресурсам, но её влияние на качество зависит от задачи и среды запуска. Использование регулируется лицензией Google Gemma Terms of Use; для доступа на Hugging Face требуется принять условия лицензии. Лицензия указана как gemma-terms-of-use.