II.3Рефакторинг, миграция и модернизация

Mungert/Mistral-Small-3.1-24B-Instruct-2503-GGUF — это GGUF-квантизованная instruct-модель на базе Mistral-Small-3.1-24B-Base-2503 от Mistral AI, подготовленная пользователем или организацией Mungert с использованием llama.cpp. Модель предназначена для генерации текста в диалоговых и прикладных сценариях, а также, согласно указанному pipeline tag, для задач image-text-to-text, то есть обработки сочетаний изображений и текста. Доступны варианты с разной степенью квантизации, включая форматы Q4, Q6, Q8 и ультранизкобитные IQ1–IQ3, ориентированные на снижение потребления памяти и запуск на CPU, устройствах с ограниченной VRAM и edge-оборудовании. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Размер модели составляет 24B параметров по обозначению в имени. README не указывает точную архитектуру и размер контекстного окна для этой модели; приведённые бенчмарки относятся к другой модели, Llama-3-8B-Instruct, поэтому их нельзя напрямую считать характеристиками данного экземпляра. Сильной стороной являются варианты квантизации, позволяющие выбирать компромисс между качеством, скоростью и требованиями к памяти; особенно низкобитные варианты рассчитаны на ресурсоограниченные среды и исследование ультранизкобитного вывода. Ограничения включают возможное снижение точности при агрессивной квантизации и зависимость производительности от конкретного формата и оборудования. Модель распространяется по лицензии Apache-2.0.

NousResearch Nous-Hermes-2-Mistral-7B-DPO — диалоговая языковая модель на базе Mistral-7B-v0.1, дообученная методом DPO. Предварительный чекпойнт OpenHermes-2.5-Mistral-7B обучался на миллионе инструкций и диалогов, преимущественно на синтетических данных высокого качества; разработчик сообщает об улучшении результатов на нескольких бенчмарках после DPO. Модель предназначена для генерации ответов на инструкции и многошагового общения. Она использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Для диалога применяется формат ChatML, включая системные сообщения и несколько ходов беседы. В карточке указан английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Качество ответов зависит от формулировки запроса; результаты на приведённых бенчмарках не гарантируют точность фактических утверждений или пригодность для конкретного сценария.

Pixtral-12B-2409 — мультимодальная модель Mistral AI для работы с изображениями и текстом. Она сочетает декодер на 12 млрд параметров и визуальный энкодер на 400 млн параметров, обучена на чередующихся данных изображений и текста и поддерживает изображения разных размеров. Модель предназначена для понимания изображений и диаграмм, ответов на вопросы по визуальному содержимому и текстовых задач, включая следование инструкциям, математику и программирование. Заявленная длина последовательности — 128 тыс. токенов. В карточке приведены результаты сравнительных тестов, в том числе по MMMU, MathVista и ChartQA. Модель выпущена под лицензией Apache 2.0. В README указано, что у неё нет механизмов модерации, поэтому при использовании следует учитывать риск немодерируемых ответов.

Карточка модели LIF1014/ptdbench-verl-implementation-torch-functional на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Карточка модели SpectreFestival/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Qwen3-30B-A3B-Instruct-2507-MLX-8bit — 8-битная квантованная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях: диалоговых системах, подготовке и преобразовании текстов, ответах на вопросы и других задачах, поддерживаемых исходной instruct-моделью. README не содержит сведений о точной архитектуре, числе активируемых параметров, размере контекста, поддерживаемых языках и модальностях, поэтому эти характеристики нельзя достоверно уточнить. Ключевое преимущество модели — 8-битное представление, ориентированное на более эффективный запуск на Apple Silicon по сравнению с полноразмерной версией. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, а также типичные для генеративных моделей риски неточных, вредных или неподходящих ответов. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-35B-A3B-uncensored-heretic-v2-Native-MTP-Preserved — дообученная мультимодальная модель независимого автора llmfan46 на базе Qwen/Qwen3.5-35B-A3B от Alibaba. Это диалоговая модель с архитектурой Qwen3.5 MoE и визуальным энкодером: всего 35 млрд параметров, из них активируется около 3 млрд. Репозиторий содержит веса Safetensors и сохраняет 785 тензоров MTP; заявленная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Модель предназначена для диалога, рассуждений, работы с изображениями и агентных сценариев с вызовом инструментов. Автор сообщает о снижении частоты отказов относительно исходной модели при сохранении её возможностей; приведённые метрики являются результатами автора. Модель работает в режиме рассуждений по умолчанию. В карточке заявлена поддержка 201 языка и диалекта, но перечень языков не приведён. Модель распространяется по лицензии Apache-2.0. Снижение ограничений может приводить к выдаче нежелательного или небезопасного содержимого; результаты тестов автора не гарантируют качество на других задачах.

Qwen35B-Agent-R2-i1-GGUF — квантизированная GGUF-версия модели Qwen35B-Agent-R2, подготовленная mradermacher. Базовая модель разработана автором или организацией hotdogs; точная информация о разработчике в README не указана. Модель предназначена для генерации текста, диалоговых сценариев, reasoning, агентских задач, использования инструментов и tool calling. Обучение или дообучение связано с датасетами для рассуждений, агентскими траекториями и conversational-задачами. Модель относится к архитектуре Mixture-of-Experts и имеет заявленный размер 35B, поддерживает текстовый ввод и вывод. В метаданных указаны английский и тайский языки. Модель распространяется в виде набора квантизаций GGUF с разным компромиссом между размером, скоростью и качеством: от IQ1_S размером 7,6 ГБ до Q6_K размером 28,6 ГБ. Варианты IQ-квантизации могут быть предпочтительнее сопоставимых обычных вариантов по размеру, но низкобитные версии заметно ограничены по качеству. Оптимальными по соотношению размера, скорости и качества README называет i1-Q4_K_S, а i1-Q4_K_M — быстрой и рекомендуемой. В README не указаны размер контекстного окна, точные параметры архитектуры, мультимодальные возможности и результаты бенчмарков, поэтому нельзя сделать выводы об этих характеристиках. Лицензия модели — AGPL-3.0; условия использования производных квантизированных файлов следует учитывать вместе с лицензией базовой модели.

AtomicChat/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, разработанной Qwen и подготовленной командой AtomicChat. Модель распространяется в формате GGUF для запуска через llama.cpp и предназначена для локального использования в диалоговых, текстовых и мультимодальных сценариях. Модель поддерживает работу с текстом и изображениями; для обработки изображений требуется отдельный vision-проектор mmproj-Qwen3.8-27B-F16.gguf или BF16-вариант. В репозитории доступны варианты квантизации размером примерно от 8,5 до 28,9 ГБ. AtomicChat использует собственную importance matrix и публикует измерения отклонения квантизированных версий от исходных весов. Указано наличие multi-token prediction head, совместимого с llama.cpp. Контекстная ёмкость в README явно не приведена, но указано потребление около 256 КБ attention cache на токен, что существенно влияет на требования к видеопамяти при длинном контексте. Сильные стороны модели — возможность локального запуска, широкий выбор уровней квантизации, поддержка изображений и оптимизация для llama.cpp. Качество зависит от выбранного файла: более компактные варианты требуют меньше памяти, но сильнее отклоняются от исходной модели и чаще ошибаются в предсказаниях. Для мультимодальной работы необходим дополнительный проектор, а для корректного анализа изображений рекомендуется не менее 1024 image tokens. Лицензия в предоставленных данных не указана.

Fulcrum-AI представляет Ryze-Mistral-Nemo-Instruct-2407-8 — текстовую генеративную модель на архитектуре MistralForCausalLM, полученную слиянием весов через passthrough mergekit на основе mistralai/Mistral-Nemo-Instruct-2407. В репозитории указаны 20,1 млрд параметров, формат safetensors и контекст до 1 024 000 токенов. Модель предназначена для диалога, генерации текста, выполнения инструкций и сценариев с интерфейсом вызова инструментов. Базовая Mistral Nemo — многоязычная инструктивная модель Mistral AI и NVIDIA; модель можно применять для общения и генерации текста на поддерживаемых ею языках. README не описывает отдельную специализацию или результаты оценки именно этого слияния. Лицензия в предоставленных данных не указана.

Salamandra-7B-Instruct-Aina-Hack — разговорная языковая модель, разработанная подразделением языковых технологий Barcelona Supercomputing Center для мероприятия AinaHack, посвящённого созданию ИИ-инструментов для администрации Каталонии. Это инструкция-настроенная версия Salamandra-7B: decoder-only трансформер семейства Llama с 32 слоями и примерно 7 млрд параметров. Модель принимает текст и генерирует текст, использует шаблон ChatML и поддерживает контекст до 8192 токенов. Модель предназначена для диалоговых помощников и генерации текста на европейских языках, а также может служить основой для прикладной донастройки. Семейство Salamandra обучалось с нуля на многоязычном корпусе из 35 европейских языков и программного кода; карточка этой версии описывает её как proof of concept с предварительной настройкой следования инструкциям. Модель распространяется под лицензией Apache 2.0. У модели выявлены социальные и когнитивные смещения, а анализ охватывает не все поддерживаемые языки. Карточка предупреждает, что модель не прошла RLHF-выравнивание для фильтрации чувствительных тем и может создавать вредный или неподходящий контент; перед применением в продуктах необходимы оценка рисков и дополнительная настройка безопасности.

SG-Raccoon-Yi-55B-200k — авторегрессионная языковая модель на архитектуре Llama, собранная путём слияния двух дообученных моделей Yi 34B: Tess-M-v1.3 и Nous-Capybara-34B. Модель содержит 55,1 млрд параметров и поддерживает контекст до 200 000 токенов; файлы опубликованы в формате safetensors. Разработчик указывает, что это первая объединённая модель такого размера с контекстом 200K. Модель предназначена для генерации текста и диалогового общения. Для подачи запросов README предлагает формат с ролями SYSTEM, USER и ASSISTANT. Автор отмечает, что для Yi может потребоваться отключить BOS-токен или снизить температуру с MinP, а иногда добавить токен остановки в список условий завершения генерации. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования по имеющимся данным определить нельзя. В README результаты бенчмарков не приведены.

TurdusBeagle-7B — языковая модель на архитектуре Mistral, созданная объединением udkai/Turdus и mlabonne/NeuralBeagle14-7B методом SLERP с помощью LazyMergekit. Модель содержит 7,1 млрд параметров и принимает текст для генерации текста; контекст — до 32 768 токенов. Модель подходит для диалогов, следования инструкциям, рассуждений и творческой генерации текста — эти возможности указаны для базовой NeuralBeagle14-7B. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0.

airoboros-7b-gpt4 — дообученная модель семейства LLaMA с 6,6 млрд параметров, созданная Jondurbin на синтетических обучающих данных, сгенерированных GPT-4. Она предназначена для диалоговой генерации текста и отвечает на вопросы по заданному контексту, а также решает задачи на эрудицию, математику и рассуждение, программирование, тесты с выбором ответа, заполнение пропусков и общие темы. Для общения используется шаблон Vicuna; максимальная длина контекста по метаданным — 4096 токенов. Модель обучена следовать предоставленному контексту и ограничивать ответы его содержимым, чтобы уменьшить галлюцинации. Автор отмечает, что качество математических рассуждений ограничено, а результаты примеров для версии 13B могут отличаться от версии 7B. Модель распространяется под лицензией CC BY-NC 4.0, допускающей использование с указанием авторства, но запрещающей коммерческое использование.

Bonsai-27b-Ternary-CRACK-GGUF — мультимодальная модель класса 27B, опубликованная dealignai. Это квантизированная GGUF-версия Bonsai 27B CRACK, созданная на базе prism-ml/Ternary-Bonsai-27B-gguf и относящаяся к семейству Qwen/Qwen3.6-27B. Модель предназначена для диалогов, рассуждений, использования инструментов, обработки текста и анализа изображений; также предусмотрена поддержка видео через отдельный Qwen3VL-проектор и совместимый клиент. Модель содержит 64 гибридных языковых блока архитектуры qwen35, а также отдельный F16-проектор Qwen3VL для мультимодальных входов. Основной языковой файл использует нативное 2-битное представление Q2_0 и занимает около 7,68 GiB, проектор — около 0,86 GiB. Заявлены английский и китайский языки. Контекст модели в README не указан. Для работы требуется форк Prism llama.cpp; обработка изображений проверена, а прямая передача видеофайлов зависит от возможностей конкретной среды выполнения. К сильным сторонам относятся низкое потребление памяти благодаря Q2_0, мультимодальность, совместимость с текстовыми и визуальными сценариями и результаты на приведённых тестах: 75,00% на фиксированной выборке MMLU-200 и 99,38% на полном HB-320. Ограничения включают необходимость специального форка Prism llama.cpp, отдельного мультимодального проектора и возможную необходимость предварительно извлекать кадры из видео. Модель распространяется по лицензии Apache-2.0.

Citaman/command-r-32-layer — языковая модель семейства Cohere, созданная автором репозитория с помощью mergekit на основе Citaman/command-r-33-layer. В README описано слияние SLERP: в итоговую модель включены срезы слоёв исходной модели, а веса сохранены в формате bfloat16. По метаданным модель содержит 28,4 млрд параметров, использует архитектуру CohereForCausalLM и доступна в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Максимальная длина контекста — 8192 токена. Лицензия и конкретные языки в предоставленных данных не указаны, поэтому область применения и языковую поддержку нельзя уточнить.

DPOpenHermes-7B-v2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и openaccess-ai-collective/DPOpenHermes-7B-v2 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации ответов на инструкции и диалоговые запросы; заявленный контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст. В карточке указан английский язык. Репозиторий распространяется под лицензией Apache-2.0; веса представлены в формате safetensors. Карточка не приводит результатов оценки качества или подробных сведений о поведении модели.

flammen27-mistral-7B — языковая модель на архитектуре Mistral, созданная flammenai путём слияния предварительно обученных моделей flammenai/flammen26-mistral-7B и InferenceIllusionist/Excalibur-7b методом SLERP с помощью mergekit. Модель содержит 7,1 млрд параметров, построена как плотная причинная языковая модель и принимает текст для генерации текста; поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста, диалогов и ответов на вопросы, в том числе с длинным контекстом. В README приведены результаты Open LLM Leaderboard, включая оценку 69,80 на AI2 Reasoning Challenge и 87,39 на HellaSwag; это результаты оценки, а не гарантия качества для конкретного сценария. Языковая поддержка в предоставленных данных не уточнена. Веса доступны в формате safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0.

Gemma4-26B-A4B-Uncensored-HauhauCS-1M-GGUF — GGUF-сборка, опубликованная satgeze на основе модели HauhauCS/Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP, использующей архитектуру Gemma 4 с 26 млрд параметров и 4 млрд активных параметров в конфигурации MoE. Веса идентичны исходному релизу HauhauCS; в сборку добавлены масштабирование контекста, MTP-голова для спекулятивного декодирования и компоненты для обработки изображений. Модель предназначена для генерации текста, работы с очень большими документами и длинными промптами, а также для мультимодальных сценариев с изображениями. Заявлен контекст до 1 048 576 токенов благодаря YaRN-масштабированию в 4 раза относительно исходных 262 144 токенов. Vision-компонент проверен на распознавании текста и объектов на изображениях. MTP-голова совместно с llama.cpp может ускорять генерацию: в README указаны результаты 249,1–369,2 токена в секунду и прирост до 48% на RTX 5090 без изменения результата декодирования. К сильным сторонам относятся сверхдлинный контекст, поддержка изображений, возможность спекулятивного декодирования и формат GGUF, совместимый с llama.cpp и Ollama. При этом средний результат теста needle-in-a-haystack составляет около 91%, поэтому редкие пропуски при извлечении информации возможны; тестирование выше 524 тысяч токенов на момент публикации не завершено. Независимая оценка качества «раскодирования» и базовые языковые бенчмарки для этой сборки не приведены. Для работы требуются значительные ресурсы, особенно при использовании контекста в миллион токенов. Модель распространяется по лицензии Gemma.

Jan-v1-2509 — обновлённая версия модели Jan-v1 от Jan, предназначенная для диалогового использования, рассуждений и решения задач с агентами в приложении Jan. Это плотная языковая модель семейства Qwen3 на 3,7 млрд параметров, дообученная на базе Qwen/Qwen3-4B-Thinking-2507; архитектура не менялась по сравнению с предыдущей версией. Модель принимает текст и генерирует текст, поддерживает контекст до 262 144 токенов и рассчитана на английский язык. Модель ориентирована на ответы на вопросы, диалог и выполнение сложных задач с использованием инструментов. Разработчики сообщают о повышении надёжности и небольшом улучшении результатов на других чат-бенчмарках относительно Jan-v1, но отмечают снижение результата на SimpleQA. Для воспроизведения указанных результатов важно учитывать системный промпт в шаблоне чата; также доступен шаблон без него. Модель распространяется по лицензии Apache-2.0.

LD-Zephyria-37b_HEALED — дообученная версия TheSkullery/LD-Zephyria-37b, созданная автором athirdpath. Для обучения применён LoRA-адаптер ранга 128, нацеленный на проекции q и down; использована одна эпоха датасета TheSkullery/Aether-Lite-PurHyDe. Модель представляет собой плотную авторегрессионную языковую модель семейства Mistral с 37,3 млрд параметров и контекстом до 131 072 токенов. Она предназначена для генерации текста и диалогового использования; метаданные также отмечают интерфейс вызова инструментов. Доступны веса в формате safetensors. Лицензия в предоставленных данных не указана.

Llama-3-Swallow-70B-v0.1 — плотная авторегрессионная языковая модель семейства Llama 3, разработанная командой Swallow-LLM из Токийского технологического института и AIST. Модель на 69,5 млрд параметров прошла дополнительное непрерывное предобучение на корпусах с преимущественно японскими данными; базовая архитектура — LlamaForCausalLM. Выпущена в июне 2024 года и распространяется в формате safetensors через Transformers. Модель предназначена для генерации текста на японском и английском языках. Её можно применять для ответов на вопросы, чтения и понимания текста, суммаризации, перевода между японским и английским, математических рассуждений и генерации кода. В README приведены результаты оценки на японских и англоязычных наборах задач; указанное родное контекстное окно — 8192 токена. Это базовая, не Instruct-версия: она не настроена на следование человеческим инструкциям и требованиям безопасности. Авторы предупреждают, что модель находится на ранней стадии исследований и разработки. Лицензия — Llama 3; перед использованием следует соблюдать её условия.

Это консолидированный чекпойнт Meta-Llama-3.1-8B-Instruct, опубликованный camenduru и преобразованный в формат Hugging Face с помощью слегка изменённого скрипта convert_llama_weights_to_hf.py из репозитория Transformers. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она предназначена для диалоговой генерации текста и работы в сценариях, где нужно получать ответы на запросы пользователя. Модель принимает текст и выдаёт текст. Метаданные указывают контекст до 131 072 токенов, формат весов safetensors и возможность чата. Карточка не описывает отдельные дообучения или специализированные области применения этой копии. Условия лицензии в доступных данных не приведены.

MaziyarPanahi/Mistral-7B-v0.1-sharded-Mistral-7B-Instruct-v0.1 — объединённая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и alexsherstinsky/Mistral-7B-v0.1-sharded. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции и диалоговые запросы. Поддерживает контекст до 32 768 токенов и поставляется в формате safetensors; в метаданных также указана поддержка чата. Модель принимает текстовые запросы и выдаёт текст. Она подходит для диалоговых помощников, ответов на инструкции и генерации текста. Лицензия — Apache-2.0. Данных о специальных предметных областях или ограничениях качества в предоставленной карточке нет.

munin-neuralbeagle-7b-density-very-high — объединённая текстовая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана с помощью LazyMergekit методом dare_ties на основе munin-7b-alpha и mlabonne/NeuralBeagle14-7B; конфигурация задаёт для NeuralBeagle плотность 0,9 и вес 0,6, а итоговый тип данных — bfloat16. Модель предназначена для генерации текста, в том числе диалогов, ответов на инструкции, рассуждений и творческих текстов — эти возможности указаны в описании базовой NeuralBeagle14-7B. Контекст составляет до 32 768 токенов. В репозитории опубликованы веса в формате safetensors. Карточка не указывает лицензию. Качество и ограничения итогового слияния отдельно не описаны; возможности и поведение базовых моделей могут отличаться от поведения объединённой модели.

NeuralsirkrishnaShadow_NeuralsirkrishnaInex12 — объединённая модель семейства Mistral, созданная на основе automerger/NeuralsirkrishnaShadow-7B и automerger/NeuralsirkrishnaInex12-7B. Она предназначена для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Распространяется в формате safetensors по лицензии Apache-2.0.

OpenZephyrChat-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и Fredithefish/OpenZephyrChat методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации ответов на инструкции и диалоговые запросы. Модель принимает текст и генерирует текстовые ответы. Заявленная длина контекста — 32 768 токенов. В репозитории представлены веса в формате safetensors; лицензия — Apache-2.0. Карточка указывает английский язык.

QuantFactory/Phi-3-mini-4k-instruct-GGUF — квантизированная версия модели Phi-3-Mini-4K-Instruct, разработанной Microsoft и преобразованной в формат GGUF с использованием llama.cpp. Модель содержит около 3,8 млрд параметров и предназначена для генерации текста и выполнения инструкций на английском языке в приложениях общего назначения. Модель ориентирована на сценарии с ограниченными ресурсами памяти и вычислений, требованиями к низкой задержке, а также на задачи, требующие рассуждений, особенно в математике и логике. Она подходит для диалоговых систем, генеративных функций и исследовательских проектов. Контекст ограничен 4096 токенами; поддерживается текстовая модальность. Послеобучение включало supervised fine-tuning и direct preference optimization, направленные на улучшение следования инструкциям, безопасности, структурированного вывода и многошагового диалога. Сильными сторонами являются компактный размер, возможность локального запуска благодаря квантизации, хорошее качество рассуждений среди моделей с менее чем 13 млрд параметров и улучшенное следование инструкциям. Ограничения включают поддержку преимущественно английского языка, короткое контекстное окно и типичные для языковых моделей риски ошибок, смещений и небезопасных ответов; модель требует отдельной проверки перед применением в критически важных сценариях. Модель распространяется по лицензии MIT.

Qwen2-1.5B-Instruct-GGUF — инструкционная языковая модель из семейства Qwen2, разработанного командой Qwen. Она предназначена для диалоговых приложений, генерации и понимания текста, а также может применяться в задачах, связанных с многоязычностью, программированием, математикой и рассуждениями. Модель представлена в формате GGUF и подходит для локального запуска с помощью llama.cpp, включая развёртывание сервера с совместимым с OpenAI API интерфейсом. Модель содержит 1,5 млрд параметров и построена на архитектуре Transformer с активацией SwiGLU, смещениями в QKV-проекциях внимания и Group Query Attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования. В репозитории доступны варианты fp16 и квантованные варианты q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0. Обучение включало предварительное обучение, supervised fine-tuning и direct preference optimization. К сильным сторонам относятся небольшой размер, возможность локального запуска и наличие нескольких уровней квантования с различным компромиссом между качеством и требованиями к ресурсам. Ограничения связаны с размером 1,5 млрд параметров: по сравнению с более крупными моделями она может уступать в сложных задачах понимания, генерации, кодирования и рассуждений; конкретные языки и размер контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

ThomasBaruzier/Qwen2.5-1.5B-Instruct-GGUF — набор imatrix-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen. Репозиторий предназначен для запуска через llama.cpp и содержит варианты с разными уровнями сжатия, размером примерно от 417 МБ до 1,57 ГБ, а также версию F16 размером 2,95 ГБ. Модель представляет собой причинную текстовую модель на 1,54 млрд параметров с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, GQA и связанными эмбеддингами слов. Она предназначена для диалогов, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Поддерживаются более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Полный контекст составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Ключевое преимущество репозитория — широкий выбор квантизаций, позволяющий выбирать между компактным размером и сохранением качества; для вариантов указаны показатели perplexity и относительной точности. Ограничениями являются небольшой по современным меркам размер модели и ожидаемое снижение качества у наиболее агрессивно сжатых вариантов. Модель распространяется по лицензии Apache-2.0.