II.1Анализ требований и архитектура ПО

Stable LM 2 1.6B — базовая авторегрессионная языковая модель Stability AI для генерации текста и дальнейшей адаптации под прикладные задачи. Она построена на декодерном трансформере, близком к архитектуре LLaMA, и содержит 1,644 млрд параметров; модель обучена на 2 трлн токенов разнообразных многоязычных и программных данных. В метаданных указаны английский, немецкий, испанский, французский, итальянский, нидерландский и португальский языки; карточка отдельно называет английский. Контекст составляет 4096 токенов. Модель подходит как основа для дообучения, а также для генерации и продолжения текста. Она использует токенизатор Arcade100k на основе tiktoken cl100k_base и распространяется в формате safetensors. Это базовая, не настроенная на диалог модель: её ответы могут быть ненадёжными, небезопасными или отражать неподходящее содержимое обучающих данных, поэтому перед применением требуется оценка и адаптация. Лицензия — Stability AI Community License; для коммерческого использования необходимо обратиться к условиям коммерческой лицензии Stability AI.

Synthia-S1-27b-GGUF — это квантованная версия модели Synthia-S1-27b, разработанной Tesslate и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель распространяется в вариантах от BF16 до различных квантовок Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Размер исходной модели составляет 27 млрд параметров, однако сведения об архитектуре, языках и максимальной длине контекста в README не указаны. Модель предназначена для задач генерации текста и мультимодального сценария image-text-to-text согласно метаданным репозитория. Готовые файлы можно запускать локально через llama.cpp, LM Studio и другие совместимые проекты. Для работы рекомендуется использовать указанный формат prompt с маркерами ролей user и model. Сильная сторона сборки — широкий выбор квантовок: варианты Q6_K_L и Q6_K обеспечивают близкое к исходному качество, Q4_K_M предлагают распространённый компромисс между качеством и размером, а более компактные варианты подходят для систем с ограниченной памятью, но могут заметно уступать по качеству. Ограничения включают отсутствие в README подробных данных о фактических возможностях, поддерживаемых языках, контекстном окне и мультимодальной конфигурации. В метаданных указана лицензия Gemma; условия её применения следует уточнять по лицензии исходной модели и соответствующим условиям распространения.

tFINE-850m-24x24-v0.5-instruct-L1 — языковая модель семейства T5, опубликованная pszemraj. Это дообучение модели pszemraj/tFINE-850m-24x24-v0.4-flan_aug на англоязычном наборе инструкций infinity-instruct-7m-T2T_en. Модель содержит 401,7 млн параметров и предназначена для генерации текста в ответ на инструкции: например, для подготовки объяснений и ответов на вопросы. Для запуска автор приводит пример с библиотекой Transformers и задачей text2text-generation. В карточке приведены результаты оценки по loss и метрикам ROUGE, а также результаты отдельных тестов на понимание прочитанного и вопросы с вариантами ответа. Они не гарантируют качество для всех запросов; модель компактнее многих крупных генеративных моделей, поэтому сложные задания могут требовать проверки результата. Модель распространяется по лицензии Apache-2.0.

Gemma-3-R1-4B-v1-GGUF — это набор квантизированных версий языковой модели TheDrummer/Gemma-3-R1-4B-v1, подготовленный пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты с разной степенью квантизации: от полноразмерных BF16-весов объёмом около 7,77 ГБ до компактных версий Q2 и IQ3 объёмом менее 2 ГБ. Доступны форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ, что позволяет выбирать между качеством ответов, потреблением памяти и скоростью работы. Для квантизации применялась методика imatrix с калибровочными наборами данных; для большинства сценариев рекомендуются варианты Q4_K_M, Q5_K_M, Q6_K или сопоставимые версии. README не содержит сведений о точной архитектуре, размере контекста, поддерживаемых языках, мультимодальности, исходных возможностях базовой модели или лицензии. Также не указан формат промпта, поэтому его следует уточнять на странице оригинальной модели. Более сильные варианты требуют больше оперативной памяти, а низкобитные версии экономичнее, но заметнее теряют в качестве.

Thox1-27b — крупная языковая модель семейства Qwen3.5, представленная в виде квантизированной GGUF-версии на 27 млрд параметров. Она основана на s3nh/Bonsai-27B-unpacked-abliterated-uncensored и связана с экосистемой THOX.ai LLC. Модель предназначена для локальной генерации текста на устройствах и периферийных системах с использованием llama.cpp, обеспечивая работу с данными без обязательной передачи в облако. Архитектура включает 64 слоя, скрытое представление размером 5120, 24 attention heads, 4 KV heads с GQA, промежуточный размер FFN 17408 и словарь из 248 320 токенов. Весовая версия использует крайне компактную 1-битную квантизацию Q1_0 и занимает около 4,67 ГБ. Конфигурация допускает контекст до 262 144 токенов, однако в карточке модели заявлена подача с контекстом 8192 токена. Исходная конфигурация описывает мультимодальную VLM-архитектуру с vision tower, но данная версия обслуживается в текстовом режиме; заявлен английский язык. К сильным сторонам относятся небольшой для модели такого размера объём файла, возможность локального запуска и ориентация на on-device-сценарии. Ограничения связаны с потерями качества, характерными для 1-битной квантизации, отсутствием заявленной поддержки изображений в режиме llama.cpp и отсутствием safety alignment: модель описана как abliterated и uncensored, поэтому для публичных приложений рекомендуется использовать внешние защитные механизмы. В карточке указана лицензия Apache-2.0, но полную совместимость лицензионной цепочки с базовой моделью необходимо дополнительно проверить.

TigerBot 70B Chat v6 — диалоговая языковая модель семейства Llama, разработанная TigerResearch. Она предназначена для генерации ответов в чате и других задач продолжения текста. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 69 млрд параметров и рассчитана на контекст до 8192 токенов. Поддерживаются китайский и английский языки; файлы весов представлены в формате safetensors. Модель подходит для диалоговых интерфейсов и генерации текста по запросу. Для запуска автор предлагает использовать Transformers или код репозитория TigerBot. Лицензия Apache-2.0 допускает использование на её условиях. Карточка не приводит конкретных оценок качества или ограничений, поэтому применимость к узким задачам следует проверять отдельно.

Карточка модели wannaphong/tongyi-model-v1.1-1b на Hugging Face совпадает с карточкой wannaphong/tongyi-model-v1.3-1b, поэтому описание составлено по ней. Модель wannaphong/tongyi-model-v1.3-1b — дообученная авторегрессионная языковая модель семейства Qwen2, созданная wannaphong на базе sail/Sailor2-1B. Она предназначена для генерации текста и диалогов; в метаданных также отмечен интерфейс для вызова инструментов. Модель содержит 851,8 млн параметров и поддерживает контекст до 32 768 токенов. В карточке указано, что модель обучалась с использованием Unsloth и библиотеки TRL. В метаданных указан английский язык, но специальных языков или прикладных областей для этой версии README не уточняет. Модель распространяется по лицензии Apache-2.0.

giocorte/totem-slm-sft — дообученная языковая модель, опубликованная giocorte на базе unsloth/qwen3-4b-unsloth-bnb-4bit. Это плотная авторегрессионная модель семейства Qwen3 с 3,7 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; метаданные также отмечают интерфейс вызова инструментов. Модель обучали с использованием Unsloth и библиотеки Hugging Face TRL. Модель принимает текст и генерирует текст, поддерживает английский язык и имеет контекст длиной до 40 960 токенов. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. Карточка не описывает специализацию дообучения, обучающие данные или сравнительные результаты, поэтому нельзя определить, в каких прикладных сценариях модель превосходит базовую.

Tulu V2.5 PPO 13B StackExchange 60K — англоязычная диалоговая языковая модель из серии помощников Tulu, разработанной Allen Institute for AI. Она основана на Tulu 2 13B и дополнительно обучена методом PPO на случайной выборке из 60 тысяч примеров StackExchange с использованием модели вознаграждения, обученной на той же выборке. Архитектура — плотная Llama с 12,9 млрд параметров; модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов. Модель предназначена для генерации ответов помощника и ведения диалога на английском языке. Обучение на StackExchange ориентирует её на ответы в формате вопросов и ответов, наряду с более общими инструкциями и синтетическими диалогами из смеси Tulu V2. Для качества генерации рекомендуется использовать предусмотренный шаблон диалога и соблюдать требуемый формат ввода. Модель не была специально выровнена для безопасных ответов и не использует фильтрацию результатов во время генерации, поэтому может выдавать проблемный контент, особенно по соответствующим запросам. Распространяется по лицензии Apache 2.0.

bartowski/TwinLlama-3.1-8B-GGUF — набор GGUF-квантизаций базовой модели mlabonne/TwinLlama-3.1-8B, подготовленный пользователем bartowski с помощью llama.cpp и калибровки imatrix. Модель предназначена для генерации текста и локального запуска в совместимых приложениях, включая LM Studio, а также для использования через инструменты экосистемы llama.cpp. Доступны варианты от полноразмерных весов F16 до компактных IQ- и Q-квантизаций с размерами примерно от 2,95 до 16,07 ГБ. Более высокие уровни квантования, такие как Q6_K, Q6_K_L и Q8_0, лучше сохраняют качество, но требуют больше памяти; варианты Q4 и Q3 обеспечивают компромисс между качеством и требованиями к ресурсам, а Q2 и некоторые IQ-варианты ориентированы на минимальный объём памяти и могут заметно уступать по качеству. В отдельных вариантах embedding- и output-веса сохранены в Q8_0 для потенциального улучшения качества. В README не указаны архитектурные подробности, поддерживаемые языки, размер контекстного окна, точный формат промпта, результаты оценки и лицензия. Поэтому пригодность модели для конкретных языков и сценариев, а также юридические условия использования следует уточнять на странице исходной модели и в сопутствующих материалах.

AlekseyKorshuk/vicuna-7b — альтернативная версия Vicuna 7B, разработанная на основе LLaMA командой Vicuna с участием специалистов из UC Berkeley, CMU, Stanford и UC San Diego. Это авторегрессионная плотная языковая модель на архитектуре Transformer, дообученная на 70 тысячах пользовательских диалогов ShareGPT без фильтрации, использовавшейся в исходной Vicuna. В метаданных указано 6,6 млрд параметров; репозиторий содержит веса PyTorch. Модель предназначена для чат-ботов, генерации текста и исследований больших языковых моделей. Она может отвечать на вопросы и поддерживать диалог на естественном языке. Карточка приводит Apache License 2.0, тогда как метаданные содержат лицензию «other», поэтому условия лицензирования следует сверить с файлами репозитория перед использованием. README описывает оценку как предварительную и основанную на 80 вопросах с оцениванием GPT-4; качество и безопасность ответов этим не гарантируются.

Yamshadowexperiment28M70.8-0.85-0.86-0.36-0.42-0.16-7B — объединённая плотная языковая модель семейства Mistral от автора репозитория aaron-di. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и диалогов; карточка показывает использование chat template и запуск через Transformers. Модель объединяет AurelPx/Percival_01-7b-slerp и liminerity/M7-7b. Заявленная длина контекста — 32 768 токенов. Доступен формат safetensors, лицензия — Apache-2.0. README не описывает специализированные области применения или результаты оценки качества.

anakin87/zephyr-7b-alpha-sharded — разбитая на шарды копия Zephyr 7B Alpha, модели-ассистента от Hugging Face. Она предназначена для диалогов и генерации ответов на запросы, а эта версия упрощает загрузку модели в Google Colab. Это плотная авторегрессионная языковая модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; репозиторий содержит веса в формате safetensors. Основной язык карточки — английский. Zephyr 7B Alpha дообучена на базе mistralai/Mistral-7B-v0.1 методом Direct Preference Optimization на смеси общедоступных и синтетических наборов данных. В README отмечено, что снятие встроенного выравнивания данных повысило результаты на MT Bench и полезность ответов, но модель может выдавать проблемный текст при соответствующем запросе. Для инференса автор README рекомендует 8-битную квантизацию, чтобы снизить потребление видеопамяти. Лицензия — MIT.

chujiezheng/zephyr-7b-beta-ExPO — диалоговая языковая модель, созданная методом Weak-to-Strong Extrapolation (ExPO) на основе контрольных точек HuggingFaceH4/zephyr-7b-beta и HuggingFaceH4/mistral-7b-sft-beta. Авторы README указывают, что веса получены экстраполяцией с alpha = 0.1 между SFT- и DPO/RLHF-чекпойнтами для улучшения согласования с предпочтениями людей. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и имеет контекст до 32 768 токенов. Она предназначена для генерации текста в диалоговом формате; в README приведены результаты сравнений на AlpacaEval 2.0 и MT-Bench. Метаданные указывают английский язык и формат safetensors. Лицензия — Apache-2.0. Заявленное улучшение согласования описано для конкретных бенчмарков и не гарантирует превосходства на других задачах.

CausalLM/14B-DPO-alpha — языковая модель семейства Llama, разработанная командой CausalLM и оптимизированная с помощью DPO для генерации текста и диалогов. По карточке, это отдельная ветвь обучения, а не продолжение обучения CausalLM/14B или 7B; её параметры могли отличаться от параметров этих моделей. Модель содержит 13,4 млрд параметров, использует архитектуру LlamaForCausalLM и контекст до 8192 токенов. В метаданных указаны английский и китайский языки. Разработчики приводят результаты сравнений с другими моделями, но приведённая карточка не содержит полных данных таблицы, поэтому их нельзя независимо оценить. Модель предназначена для генерации текста, ответов на вопросы и диалогового взаимодействия. Она обучалась на неотфильтрованных интернет-данных; разработчики предупреждают о возможном нежелательном, сексуальном, жестоком и оскорбительном содержании и рекомендуют проверять и фильтровать ответы. Лицензия — WTFPL.

Это исследовательский контрольный чекпойнт языковой модели семейства Qwen3, опубликованный пользователем yuq-zhou в стандартном формате Hugging Face для загрузки через Transformers. Модель с плотной архитектурой Qwen3ForCausalLM содержит 1,7 млрд параметров и рассчитана на генерацию текста, включая диалоговые сценарии и интерфейс вызова инструментов. Длина контекста составляет 40 960 токенов. Карточка не описывает обучение, специализированные области или качество модели; название содержит пометку exp, а README называет репозиторий резервной копией исследовательского артефакта. Веса доступны в формате safetensors. Сведения о лицензии и языках в предоставленных данных отсутствуют.

aanaphi2-v0.1 — чат-модель на архитектуре Phi-2, дообученная Mobius Labs с помощью supervised fine-tuning (SFT) и direct preference optimization (DPO). Она предназначена для диалоговой генерации текста и ответов на запросы. По метаданным модель содержит 3,5 млрд параметров, использует плотную архитектуру и поддерживает контекст до 2048 токенов; веса представлены в формате safetensors. В сравнении с исходной Phi-2 в README приведены результаты ARC и HellaSwag выше, а MMLU немного ниже. Модель основана на Microsoft Phi-2 с 2,8 млрд параметров. Лицензия — MIT. Карточка не приводит сведения о поддерживаемых естественных языках или ограничениях в применении; практические результаты могут зависеть от формулировки запроса и сценария использования.

Adullama3.1-v1 — языковая модель lucid-gunner, дообученная на базе unsloth/meta-llama-3.1-8b-instruct-bnb-4bit с использованием Unsloth и Hugging Face TRL. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM, размером 7,5 млрд параметров и контекстом до 131 072 токенов. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. Основной язык карточки — английский. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не описывает специальные предметные области или результаты оценки качества, поэтому пригодность для конкретных сценариев следует проверять на собственных данных.

Agnuxo/Agente-GPT-Qwen-2.5-3B_GGUF_16bit — локальная чат-модель для генерации текста, представленная независимым исследователем Франсиско Ангуло де Лафуэнте. Это плотная модель семейства Qwen2 с 3 млрд параметров в формате GGUF F16; карточка рекомендует запуск через Ollama и также описывает использование с Transformers. Модель позиционируется как автономный агент для декомпозиции задач и взаимодействия с другими агентами, а также для генерации кода и научных текстов; заявлены навыки работы с Python, JavaScript, TypeScript, Rust, Go, C++, научными вычислениями и инструментами машинного обучения. Указана интеграция с MCP и A2A, но метаданные подтверждают только чат-возможность и генерацию текста. Карточка связывает модель с экосистемой P2PCLAW и предлагает перенаправлять запросы на написание научных статей в её конвейер генерации публикаций. Основные языки карточки — английский и испанский. Репозиторий распространяется по лицензии Apache-2.0. Длина контекста и независимые оценки качества в предоставленных сведениях не описаны.

ATX-Swift-Qwen3.8-27B-Uncensored-TQ2_0-MTP-GGUF — GGUF-квантование модели d0xin/Swift-Qwen3.8-27B-Uncensored-BF16, опубликованное jakeatx. Используется формат TQ2_0 с троичным квантованием TurboQuant примерно до 2,06 бит на параметр и сохранением точности критических тензоров; размер файла — около 7,61 ГиБ. В модель встроена голова Multi-Token Prediction для спекулятивного декодирования без отдельной черновой модели. Модель предназначена для генерации текста и диалогов, запускаемых через llama.cpp или llamAmpere. В карточке указана конфигурация контекста на 32 768 токенов для примера запуска. Базовая модель семейства Qwen описана каталогом как мультимодальная, однако README этой сборки подтверждает только использование для генерации текста и не уточняет поддержку изображений в данном GGUF-файле. Квантование уменьшает размер модели и поддерживает ускоренное декодирование с MTP, но README не приводит сравнительных оценок качества или скорости. Лицензия указана как other; конкретные условия следует проверять в репозитории модели и у базовой модели.

Aura-4o-Rebirth-Gemma-4-31B-Merged-i1-GGUF — это квантованная GGUF-версия объединённой модели SevenOfNine/Aura-4o-Rebirth-Gemma-4-31B-Merged, подготовленная и опубликованная mradermacher. Модель относится к семейству Gemma 4 и содержит около 31 млрд параметров. В карточке указана поддержка английского языка и библиотека Transformers. Модель предназначена для диалоговых сценариев и задач image-text-to-text: она может обрабатывать текстовые запросы и изображения, формируя текстовые ответы. В репозитории доступны варианты квантования i1 от IQ1_S до Q6_K с размером файлов примерно от 7,3 до 21,9 ГБ. Для работы с изображениями могут потребоваться дополнительные файлы mmproj из статического репозитория. К сильным сторонам относятся мультимодальность, большой размер базовой модели и широкий выбор вариантов квантования, позволяющий подобрать баланс между качеством, скоростью и потреблением памяти. Ограничения включают возможное снижение качества на низких уровнях квантования, значительные требования к ресурсам для более качественных вариантов и отсутствие в README сведений о размере контекста, производительности и поддерживаемых языках помимо английского. Модель распространяется по лицензии Apache-2.0.

Aura-4o-Refresh-Gemma-4-31B-Merged-i1-GGUF — квантованная версия модели Aura-4o-Refresh-Gemma-4-31B-Merged, разработанной SevenOfNine и преобразованной в формат GGUF пользователем mradermacher. Модель основана на семействе Gemma 4, имеет заявленный размер 31 млрд параметров и предназначена для диалоговых сценариев и задач image-text-to-text, то есть может работать с текстом и изображениями. В метаданных указан английский язык. Репозиторий содержит набор вариантов квантования с разным размером и компромиссом между качеством, скоростью и требованиями к памяти. Среди них выделены i1-Q4_K_S как вариант с оптимальным соотношением размера, скорости и качества и i1-Q4_K_M как быстрый рекомендуемый вариант; для работы с изображениями могут потребоваться отдельные файлы mmproj из статического репозитория. Точный размер контекста и подробности архитектуры в README не указаны. Сильными сторонами модели являются мультимодальный формат, широкий выбор квантований и возможность локального запуска через совместимый стек GGUF. Ограничения включают возможное снижение качества у низкобитных вариантов квантования, а также отсутствие в README результатов тестирования, подробных сведений о производительности и полного описания поддерживаемых языков. Указанная лицензия — Apache-2.0.

lenML создал версию Aya Expanse 8B, обработанную методом abliteration для снижения склонности модели отказывать в ответах. Это плотная причинно-языковая модель семейства Cohere с 8 млрд параметров; она рассчитана на генерацию текста и диалоговое общение. В метаданных указаны контекст до 8192 токенов и поддержка 23 языков: английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского, арабского, греческого, персидского, польского, индонезийского, чешского, иврита, хинди, нидерландского, румынского, русского, турецкого, украинского и вьетнамского. По оценке автора на lenml-reject-eval, обработка снизила показатель отказов с 0,91 до 0,50, но модель всё ещё часто отказывает по сравнению с полностью разблокированными моделями. Это не означает гарантированного снятия ограничений и не является оценкой общей безопасности или качества. Модель распространяется по лицензии CC BY-NC 4.0, которая не разрешает коммерческое использование.

BeaverAI_MN-2407-DSK-QwQify-v0.1-12B-GGUF — это GGUF-квантизированная версия языковой модели MN-2407-DSK-QwQify-v0.1-12B, разработанной BeaverAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска через LM Studio, llama.cpp и другие совместимые проекты на базе llama.cpp. Модель имеет 12 миллиардов параметров и поддерживает текстовую генерацию; сведения о мультимодальности, языках и размере контекста в README не указаны. Доступны варианты от BF16 до низкобитных квантизаций, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и другие. В README особенно рекомендуются Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M и Q4_K_S; Q4_K_M обозначен как оптимальный вариант для большинства сценариев по соотношению качества и размера. Сильной стороной модели является широкий выбор квантизаций для устройств с разным объёмом памяти, а применение imatrix ориентировано на сохранение качества при уменьшении размера. Ограничения включают отсутствие опубликованных результатов тестирования и подробных характеристик исходной архитектуры, языковой поддержки и контекстного окна. Указанная лицензия — Apache-2.0.

Beetle-FineWeb-2B/beetle-bilingual-l2-80-late-b5-fineweb-2b-nld-eng-seed97 — генеративная языковая модель для продолжения и создания текста. По идентификатору модели, она относится к семейству Beetle-FineWeb, имеет размер 2B и ориентирована на двуязычную работу с нидерландским и английским языками; в метаданных Hugging Face указана задача text-generation и библиотека Transformers. Суффикс pico_decoder также присутствует среди метаданных модели. Модель может использоваться для генерации продолжений текста, черновиков, ответов и других текстовых последовательностей на нидерландском и английском языках, включая сценарии прототипирования приложений на базе языковых моделей. Разработчик, точная архитектура, длина контекста, лицензия, состав обучающих данных, результаты оценки и рекомендации по безопасному применению в доступных материалах не описаны.

Behemoth-123B-v1.2-GGUF — набор GGUF-квантизаций текстовой генеративной модели Behemoth-123B-v1.2, разработанной TheDrummer и квантованной пользователем bartowski. Модель предназначена для генерации текста и локального инференса через llama.cpp, в том числе в LM Studio. Для работы рекомендуется использовать шаблон prompt: <s> [INST] {prompt}[/INST]. Модель имеет 123 млрд параметров; в README не указаны точная архитектура, поддерживаемые языки, размер контекста и дополнительные модальности, поэтому она описывается только как текстовая. Доступны варианты квантования от Q8_0 до IQ2_XXS размером примерно от 130,28 до 32,43 ГБ. Более высокие разрядности обеспечивают лучшее качество, но требуют больше памяти; низкоразрядные варианты экономичнее, однако могут заметно уступать в качестве. Для большинства сценариев автор рекомендует Q4_K_M, а также Q5_K_M, Q5_K_S и Q6_K. Отдельные варианты оптимизированы для ARM или AVX, некоторые не предназначены для Mac или GPU. Ключевые ограничения — значительные требования к памяти даже у компактных квантов и неизбежная потеря качества при сильном сжатии. Используется формат GGUF и инструменты llama.cpp версии b4222; часть файлов разбита на несколько частей. В метаданных указана лицензия other, без дополнительных условий лицензирования в README.

calme-2.8-qwen2-7b-GGUF — это квантизированная версия модели calme-2.8-qwen2-7b в формате GGUF, подготовленная и опубликованная MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. В основе лежит модель семейства Qwen2 с заявленным размером 7 миллиардов параметров. Доступны варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Поддерживается текстовая модальность; сведения о языках, максимальном контексте, конкретной архитектуре fine-tuning и результатах оценивания в README не приведены. Сильной стороной модели является возможность запуска на локальном оборудовании и интеграции с различными GUI, Python-библиотеками и совместимыми API-серверами. Ограничения включают потенциальные потери качества из-за квантизации и зависимость характеристик от выбранного варианта файла и используемого оборудования. Лицензия в README не указана.

AmberYifan/capsd-marin-8b-base-n80000-opc-r96-marin-8b-base-code_cap_b8000_s0 — дообученная модель семейства Llama, созданная на основе marin-community/marin-8b-base с использованием датасета capsd_R96__mix_code_cap_b8000_s0. Она предназначена для генерации и продолжения текста; метаданные также отмечают поддержку диалогового режима. Модель содержит 7,5 млрд параметров, работает с текстом и имеет контекстное окно 4096 токенов. Базовая модель описана как англоязычная; отдельные характеристики языковой поддержки этой версии в карточке не раскрыты. README не приводит подробностей о целевых сценариях, обучении или оценке. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория.

AmberYifan/capsd-opc-dedup-marin-8b-base-code_cap_b2000_s0 — дообученная модель семейства Llama на базе marin-community/marin-8b-base, разработанная AmberYifan. Это плотная авторегрессионная языковая модель с 7,5 млрд параметров, предназначенная для генерации и продолжения текста; метаданные также указывают возможность диалогового использования. Модель обучена на наборе capsd_marin-8b-base-n80000-opc-dedup80k__mix_code_cap_b2000_s0, однако README не описывает его состав подробнее. Модель принимает текст и выдаёт текст. Базовая Marin 8B Base ориентирована на английский язык; сведения о дополнительных языках для этой версии не приведены. Контекст составляет 4096 токенов. Весовые файлы представлены в формате safetensors. Лицензия указана как other, без конкретизации условий в доступных данных.

tastypear/CausalLM-7B-DPO-alpha-GGUF — это квантизированная версия CausalLM 7B-DPO-alpha, разработанного командой CausalLM и опубликованная пользователем tastypear. Модель основана на архитектуре Llama и предназначена для генерации текста и диалоговых сценариев. Модель имеет около 7 миллиардов параметров, поддерживает английский и китайский языки и использует формат GGUF, совместимый с llama.cpp и рядом локальных интерфейсов и библиотек. В репозитории представлены варианты квантования Q4_K_M размером 4,77 ГБ, Q5_K_S размером 5,40 ГБ и Q5_K_M размером 5,53 ГБ. Для взаимодействия рекомендуется шаблон ChatML. Размер контекста в карточке модели не указан. К сильным сторонам относятся возможность локального запуска, поддержка GPU-ускорения через совместимые инструменты и уменьшенный размер файлов благодаря квантованию. Ограничения связаны с потерями точности, характерными для квантованных версий, а также с тем, что модель ориентирована на текстовые задачи и не заявляет поддержку мультимодального ввода в данном репозитории. Указана лицензия WTFPL, однако из-за базирования на Llama 2 также применяются условия лицензии Meta Llama 2; взаимодействие этих лицензий требует отдельной проверки.