II.4Отладка, тестирование и качество ПО

RWKV7-G1i-2.9B-20260805 — базовая языковая модель семейства RWKV-7, разработанная Бо Пэном, Ю Чжаном, Сонглином Яном, Жуйчонгом Чжаном и Чжиюанем Ли при поддержке RWKV Project под эгидой LF AI & Data Foundation. Это плотная авторегрессионная модель с архитектурой RWKV7ForCausalLM и рекуррентным состоянием постоянного размера: генерация не использует attention и требует постоянной вычислительной работы на каждый новый токен, при этом обучение можно распараллеливать. Модель с 3,1 млрд параметров предварительно обучена на веб-текстах, коде, синтетических данных, инструкциях, чатах и материалах для рассуждений. Она предназначена для оценки, последующего обучения и дообучения, а шаблон чата служит интерфейсом для подачи запросов и сам по себе не означает, что модель безопасно настроена как ассистент. Поддерживает несколько языков; среди языков карточки указаны английский, китайский, японский, корейский, французский, арабский, испанский и португальский. Контекст модели по метаданным — 2048 токенов. Для запуска README рекомендует flash-linear-attention и Transformers версии 4.48.0 или новее. Лицензия — Apache-2.0.

SDLM-3B-D4 — языковая модель OpenGVLab, представленная в работе Sequential Diffusion Language Models. Это дообученная версия Qwen2.5-3B: плотная архитектура семейства Qwen2 с 3,1 млрд параметров, рассчитанная на генерацию текста и диалоговое применение. Модель использует последовательное блочное предсказание с маскированием, декодирование по самому длинному уверенному префиксу и повторное использование KV-кэша. Такой подход сочетает предсказание блоков в диффузионной схеме с заданным порядком декодирования. Модель предназначена для генерации текста, в том числе ответов в диалоге, и может быть полезна там, где важно ускорить вывод. Авторы сообщают о примерно двукратном ускорении относительно сопоставимых авторегрессионных моделей при сходном качестве и до пятикратного ускорения относительно других диффузионных языковых моделей; результаты зависят от порога уверенности и сценария оценки. Контекст — до 32 768 токенов. В метаданных указан английский язык; лицензия — Apache-2.0. Для запуска в README приведены зависимости Transformers 4.37.2 и PyTorch не ниже 2.5.0.

SirSahOl подготовил 16-битную конверсию Spark-X2.5-1.7B в формат MLX для локального запуска на GPU Apple Silicon. Это плотная авторегрессионная языковая модель с 1,7 млрд параметров и контекстом до 1 048 576 токенов; метаданные указывают поддержку диалогового режима. Модель предназначена для генерации ответов и ведения диалога на устройстве, а базовая Spark-X2.5-1.7B также описана как пригодная для кода, перевода, рассуждений и агентных задач. Формат весов — safetensors, точность — 16 бит; заявленный объём памяти для весов составляет около 4,2 ГБ, рекомендуется не менее 8 ГБ объединённой памяти. Конверсия ориентирована на Apple Silicon и требует MLX; на других аппаратных платформах этот формат не предназначен для запуска. Лицензия — Apache-2.0. В README отмечено, что длинные контексты свыше 32 тыс. токенов требуют достаточного запаса объединённой памяти.

Thespis-CurtainCall-7b-v0.3 — языковая модель на 7,1 млрд параметров, опубликованная cgato. Это плотная авторегрессионная модель семейства Mistral для генерации текста; в карточке указан контекст до 32 768 токенов и формат PyTorch. Модель обучена на наборах Dolphin, UltraChat, Capybara, Augmental, ToxicQA, MagicCoder-Evol-Instruct-110k, Yahoo Answers, OpenOrca, Airoboros 3.1 и данных по физическому рассуждению и теории разума. Она предназначена для диалогов и генерации ответов в шаблоне, совместимом с Ooba и Silly Tavern, а также может применяться для инструкционного следования, рассуждений и задач по коду благодаря составу обучающих данных. Модель выпущена как версия 7B; автор сообщает о планах выпустить вариант Mixtral. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не сообщает результаты оценивания качества, поэтому пригодность для конкретных задач следует проверять самостоятельно.

UltraHermes-Merge — объединённая диалоговая языковая модель, созданная Cas-Warehouse с помощью mergekit. В основе слияния — mlabonne/NeuralHermes-2.5-Mistral-7B; также объединены argilla/CapybaraHermes-2.5-Mistral-7B, joey00072/ToxicHermes-2.5-Mistral-7B и openaccess-ai-collective/DPOpenHermes-7B-v2. Использован метод TIES. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и имеет контекстное окно до 32 768 токенов. Она предназначена для диалога, ответов на инструкции и генерации текста. Доступна в формате safetensors и использует библиотеку Transformers. В карточке не приведены сведения о лицензии и конкретном перечне поддерживаемых языков. Как и другие генеративные языковые модели, она может выдавать неточные или нежелательные ответы; пригодность результатов следует проверять для целевого применения.

airoboros-mpt-30b-gpt4-1p4-five-epochs — языковая модель на архитектуре MPT-30B, дообученная автором карточки методом QLoRA на наборе airoboros-gpt4-1.4 в течение пяти эпох. Она предназначена для генерации ответов в диалогах и инструктивных сценариях, включая вопросы по предоставленному контексту, помощь с программированием, письмо, викторины и ролевые диалоги. В обучающие данные также вошли примеры кода на десяти языках программирования. Модель использует формат запросов Airoboros, близкий к Vicuna, и поддерживает генерацию текста. Автор отмечает, что в собственных разовых проверках качество оказалось ниже, чем у вариантов на Llama-33B; также README предупреждает о возможной ошибке в накоплении градиентов при обучении. Репозиторий содержит веса PyTorch. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Это GGUF-квантизированная версия языковой модели Olmo-3-7B-Think, разработанной Allen Institute for AI (ai2) и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит около 7 миллиардов параметров, работает с текстом и заявлена для английского языка. Доступны варианты от BF16 до различных уровней квантования Q2–Q8 и IQ, размером примерно от 3,3 до 14,6 ГБ. Квантизация выполнена с использованием imatrix, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью работы; наиболее качественными считаются BF16, Q8 и варианты Q6, тогда как низкие уровни квантования требуют меньше оперативной памяти, но могут заметно ухудшать результаты. Основные преимущества модели — возможность локального запуска на совместимом оборудовании, широкий выбор вариантов квантования и поддержка экосистемы llama.cpp. Ограничения включают ориентацию на английский язык, отсутствие заявленной мультимодальности и потенциальную потерю качества при использовании сильного квантования. Для работы следует применять указанный шаблон prompt с секцией размышлений <think>. Модель распространяется по лицензии Apache-2.0.

BAAI_AREX-Base-GGUF — это квантизированная версия модели AREX-Base, разработанной BAAI и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp и метода imatrix. Модель ориентирована на агентские сценарии, глубокое исследование, рассуждения, работу с инструментами и задачами с длинным контекстом. В карточке также указана поддержка англоязычных данных и мультимодальный профиль image-text-to-text, однако подробности о поддерживаемых типах изображений и способах их обработки не приведены. Доступны варианты с точностью от BF16 до низкобитных квантов, включая Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3 и Q2. Размер файлов варьируется примерно от 44,48 до 244,31 ГБ; многие варианты разбиты на несколько частей. Более крупные квантизации сохраняют высокое качество, а компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. В метаданных модель помечена как mixture-of-experts и связанная с Qwen3.5, но точные параметры архитектуры, число экспертов, размер контекста и количество параметров не указаны. Модель предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio, koboldcpp, Jan AI и Text Generation Web UI. Для работы требуется использовать указанный шаблон промпта с тегами ролей и началом блока рассуждений. Лицензия — Apache-2.0. В README не приведены результаты тестирования, ограничения по аппаратному обеспечению, сведения о безопасности или подробная документация по мультимодальным возможностям, поэтому практическое качество следует оценивать отдельно для выбранной квантизации и сценария.

Beepo-22B — дообученная модель на базе Mistral-Small-Instruct-2409, опубликованная concedo. Это плотная языковая модель с 22 млрд параметров и контекстом до 32 768 токенов; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова функций. Автор дообучал её для более послушного выполнения инструкций и снижения ограничений, стараясь сохранить способности исходной instruct-модели. Модель подходит для диалоговых помощников, генерации текста и выполнения пользовательских инструкций. Карточка рекомендует формат инструкций Alpaca; исходный формат Mistral Instruct также поддерживается. В метаданных указан английский язык. Репозиторий содержит веса safetensors. Лицензия в предоставленных данных не указана.

BrurryDog-7b-v0.1 — объединённая языковая модель семейства Mistral, созданная с помощью LazyMergekit из udkai/Turdus, leveldevai/TurdusBeagle-7B и liminerity/Blur-7b-v1.21. Модель с плотной архитектурой MistralForCausalLM содержит 7,1 млрд параметров и рассчитана на генерацию текста, диалоги и выполнение инструкций; нативная длина контекста составляет 32 768 токенов. В README описано слияние методом TIES с нормализацией и int8-маской; итоговые веса сохранены в bfloat16. Для оценки приведены результаты Open LLM Leaderboard, включая среднее значение 74,24, ARC 72,53 и HellaSwag 88,37. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает целевые языки, поэтому языковую специализацию определить нельзя.

MaziyarPanahi/calme-2.2-qwen2-72b-GGUF — квантизированная версия дообученной языковой модели calme-2.2-qwen2-72b, разработанной и квантизированной MaziyarPanahi на основе Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста в диалоговых и общих сценариях использования больших языковых моделей, включая ответы на вопросы, рассуждения и решение задач. Для работы используется шаблон ChatML; поддерживаемые форматы GGUF рассчитаны на запуск через совместимые инструменты, например llama.cpp. Модель основана на архитектуре Qwen2 с заявленным размером 72 млрд параметров и представлена в вариантах квантизации от 2 до 16 бит, включая Q2_K, 3-, 4-, 5-, 6- и 8-битные варианты. Квантизация позволяет снизить требования к памяти, однако может уменьшать точность по сравнению с полноразмерной версией; README не содержит сведений о длине контекста, точном наборе языков, требованиях к оборудованию и результатах комплексного сравнения. В опубликованных оценках указаны результаты на TruthfulQA, Winogrande, ARC-Challenge и GSM8K, но они не гарантируют качество в конкретных прикладных сценариях. Лицензия обозначена как other с названием tongyi-qianwen; в качестве лицензионного документа указана лицензия Qwen/Qwen2-72B-Instruct. Перед использованием необходимо проверить её условия, особенно требования к распространению и коммерческому применению.

EXAONE-3.5-7.8B-Instruct-AWQ — инструкционно дообученная двуязычная языковая модель, разработанная LG AI Research. Она предназначена для генерации текста, диалоговых сценариев и общего использования в качестве виртуального ассистента на английском и корейском языках, включая задачи с длинным контекстом до 32 768 токенов. Модель поддерживает системные промпты и может запускаться в Transformers, TensorRT-LLM, vLLM, SGLang, llama.cpp и Ollama. Модель содержит 7,8 млрд параметров, из которых 6,98 млрд указаны без учёта эмбеддингов, 32 слоя и словарь размером 102 400 токенов. В архитектуре внимания используется GQA с 32 Q-головами и 8 KV-головами. Данная версия содержит AWQ-квантизацию весов в формате W4A16g128: 4-битную групповую квантизацию без квантизации активаций, что снижает требования к памяти и подходит для более эффективного развёртывания. К сильным сторонам относятся поддержка английского и корейского языков, длинного контекста и оптимизированного квантизованного инференса. Ограничения включают возможную генерацию вредного, предвзятого, фактически неверного или синтаксически некорректного текста; модель также не располагает актуальными сведениями и может выдавать ответы, противоречащие действительности. Модель распространяется по лицензии EXAONE AI Model License Agreement 1.1 - NC, предусматривающей некоммерческое использование.

bartowski/gemma-2-27b-it-GGUF — это набор GGUF-квантизаций инструкционно дообученной текстовой модели Google Gemma 2 27B IT, подготовленный bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы пользователя, при запуске через llama.cpp и совместимые инструменты. В README не указаны поддерживаемые языки, максимальный размер контекста и дополнительные модальности, поэтому модель следует считать текстовой. Доступны варианты от F32 размером 108,91 ГБ до низкобитных Q2 и IQ2 размером около 9,40 ГБ. Квантизация выполнена с использованием imatrix; варианты Q6 и Q5 сохраняют очень высокое или высокое качество, а Q4 ориентированы на более экономное использование памяти. Низкобитные варианты требуют меньше ресурсов, но снижают качество и могут быть менее стабильными. Модель не поддерживает системный промпт; для диалогов необходимо использовать указанный в README формат ролей Gemma. Для доступа к исходной модели на Hugging Face требуется принять лицензию Google Gemma. README не содержит полного текста лицензии, поэтому перед использованием необходимо ознакомиться с её условиями и проверить их применимость к конкретному сценарию.

QuantFactory/gemma-2-9b-GGUF — это квантованная версия языковой модели Gemma 2 с 9 млрд параметров, созданная на основе google/gemma-2-9b с использованием llama.cpp. Разработчик исходной модели — Google. Модель относится к авторегрессионным decoder-only моделям для генерации текста и распространяется в формате GGUF. Модель предназначена для текстовых задач, включая ответы на вопросы, суммирование, рассуждения, диалоговое взаимодействие и другую генерацию текста. Указана поддержка английского языка. Квантование уменьшает требования к вычислительным ресурсам и делает модель более подходящей для запуска на локальных компьютерах и в инфраструктуре с ограниченными ресурсами, однако может сопровождаться снижением качества по сравнению с исходными весами; конкретный уровень квантования в README не указан. Ключевые ограничения — текстовая модальность, отсутствие сведений о размере контекста, точной схеме квантования и результатах оценки именно этой сборки. Использование регулируется лицензией Gemma и соответствующими условиями Google.

Gemma3.5-48B-A4B-Q4_K_M — созданная сообществом модель для диалогов и следования инструкциям, опубликованная XxACCOxX в формате GGUF. Она объединяет поведение Gemma 3 27B с базовой архитектурой Gemma 4 26B A4B: к исходным экспертам Gemma 4 добавлен банк экспертов, полученный дистилляцией активаций Gemma 3. В модели 48,1 млрд параметров, из которых на один токен задействуется около 3,8 млрд; используется 8 экспертов из 256. Контекст составляет 262 144 токена, квантование — Q4_K_M. Модель предназначена для локального общения в режиме прямых ответов, решения математических задач, технических запросов и вопросов на общие знания. Автор приводит результат 63,21% на подвыборке MMLU-Pro из 280 заданий без режима рассуждений; это результат описанного теста, а не гарантия качества для других задач. Для запуска предназначены стеки локального инференса, например llama.cpp и Ollama. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

Это GGUF-представление Gemma-4-12B-it-AEON-Abliterated-K4-BF16 от mradermacher, подготовленное как набор статических квантованных файлов. Базовая модель — дообученная AEON-7 версия Gemma-4-12B-it; в её описании каталога указано удаление отказов. Репозиторий предназначен для запуска модели в совместимом с GGUF программном обеспечении. Модель используют для диалоговой генерации текста и следования инструкциям; метаданные также указывают на английский язык, чат и работу с кодом, рассуждениями и инструментами в базовом варианте. README перечисляет несколько вариантов квантизации, включая Q2_K и Q3_K, с разными размерами и компромиссами качества. Доступный вариант обозначен как GGUF BF16. Лицензия — Gemma; перед использованием следует учитывать её условия.

Hermes-Instruct-7B-v0.2 — диалоговая языковая модель на архитектуре Mistral, созданная lodrick-the-lafted на основе Mistral-7B-Instruct-v0.2 с дообучением на части набора teknium/openhermes в формате Alpaca. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов; для общения подходят шаблоны Mistral-Instruct и Alpaca. Модель предназначена для генерации текста и диалоговых ответов по инструкциям. В карточке приведены результаты оценки на задачах рассуждения и понимания текста, включая AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

Jan-v3-4B-base-instruct — компактная плотная языковая модель Jan на 3,7 млрд параметров, созданная дистилляцией возможностей более крупной модели и дообученная на основе Qwen/Qwen3-4B-Instruct-2507. Она предназначена для диалогов, следования инструкциям, лёгкой помощи с кодом и как основа для дальнейшей тонкой настройки. Архитектура — Qwen3ForCausalLM с 36 слоями и группированным запросным вниманием; нативное контекстное окно составляет 262 144 токена. Модель принимает и генерирует текст, поддерживает английский язык и может интегрироваться с Jan Desktop или запускаться через vLLM. По карточке, модель рассчитана на общее применение и downstream-настройку; заявлены улучшенное следование инструкциям и сохранение общих возможностей после дистилляции. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Размер параметров в метаданных указан как 3,7 млрд, а в README округлён до 4 млрд.

lemur-70b-chat-v1 — разговорная большая языковая модель OpenLemur, представленная в формате causal language model на архитектуре Llama. В репозитории указаны 68,7 млрд параметров, библиотека Transformers и веса PyTorch; модель создаёт текст по текстовому запросу и предназначена для диалогового использования. Метаданные также отмечают поддержку задач генерации кода. Модель рассчитана на английский язык, её родной контекст составляет 4096 токенов. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и запрещает коммерческое применение. README не содержит сведений о результатах оценки или специальных ограничениях качества.

ark4004/llama3.8-27b-uc-fp8-jh — размещённая пользователем на Hugging Face производная модель семейства Qwen3.8-27B; точный автор исходной модификации и метод её создания в карточке не указаны. Репозиторий предназначен для генерации текста и мультимодальных сценариев, включая работу с изображениями; доступны интеграции с Transformers, vLLM и SGLang. Модель содержит около 28 млрд параметров и использует формат FP8 F8_E4M3 с отдельными компонентами BF16. По назначению исходной Qwen3.8-27B она ориентирована на понимание текста, изображений и видео, программирование, мультимодальное рассуждение, обработку длинного контекста, вызов инструментов и агентские задачи. Для конкретной производной модели длина контекста, поддерживаемые языки, результаты тестирования и точные архитектурные особенности не указаны, поэтому её сильные и слабые стороны относительно исходной модели надёжно оценить нельзя. Для репозитория указана лицензия Apache-2.0. FP8-квантизация может снизить требования к памяти и ускорить инференс по сравнению с полноточными весами, но потенциально влияет на качество; количественные данные о таком влиянии отсутствуют. Модель не была доступна через провайдеров инференса на момент проверки.

MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, полученная слиянием методом SLERP модели Mistral-7B-Instruct-v0.1 и Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоге. Указанная длина контекста — 32 768 токенов; веса опубликованы в формате safetensors. Модель подходит для диалоговых запросов и генерации ответов на инструкции. В карточке не приведены отдельные оценки качества или сведения о поддерживаемых естественных языках, поэтому их нельзя надёжно уточнить. Лицензия — Apache-2.0.

ModernBERT-large — англоязычная модель Answer.AI, LightOn и их коллег, представляющая собой двунаправленный трансформерный энкодер в стиле BERT. Она содержит около 395 млн параметров и принимает последовательности длиной до 8 192 токенов. В архитектуре используются Rotary Position Embeddings, чередование локального и глобального внимания, а также оптимизации для эффективной обработки длинных входов. Модель предварительно обучена на 2 трлн токенов английского текста и кода. Её основная задача — предсказание замаскированных токенов; как энкодер она также подходит в качестве основы для классификации, поиска информации и семантического поиска по текстовым и кодовым корпусам. Для запуска доступны форматы PyTorch, Safetensors и ONNX через библиотеку Transformers. Модель особенно полезна для длинных документов и поиска по коду, но карточка Hugging Face классифицирует её как fill-mask, а не как готовую модель эмбеддингов или классификатор. Качество может быть ниже для языков помимо английского и кода; обработка всего контекстного окна может быть медленнее коротких входов, а представления могут отражать смещения обучающих данных. Лицензия — Apache-2.0.

Nemostein-3-Nano-Omni-30b-a3b-i1-GGUF — это GGUF-квантизированная версия модели GestaltLabs/Nemostein-3-Nano-Omni-30b-a3b. Квантизацию выполнил mradermacher с использованием weighted/imatrix-подхода. Модель предназначена для генерации текста на английском языке, диалоговых сценариев, задач рассуждения, использования инструментов и function calling. В метаданных модель отмечена как mixture-of-experts и связана с архитектурой Nemotron-H; обозначение базовой модели содержит параметры 30b-a3b, однако точное число активных параметров, размер контекста и подробности архитектуры в README не указаны. Поддержка других модальностей, кроме текстовой, также не подтверждена, несмотря на слово Omni в названии. Доступно множество вариантов GGUF-квантизации размером примерно от 18 до 33,6 ГБ, что позволяет выбирать компромисс между размером, скоростью и качеством. Сильными сторонами являются поддержка англоязычной генерации, reasoning, conversational use, tool use и function calling, а также широкий выбор уровней квантизации. Ограничения связаны с потерями качества, зависящими от выбранного варианта квантизации; некоторые низкобитные варианты в README прямо характеризуются как имеющие низкое качество. Лицензия указана как other, без дополнительных условий в представленном README.

Nex-N2.5-mini-Mixed-Q2Q3-128K-GGUF — неофициальная смешанная квантизация модели Nex-N2.5-mini, разработанной Nex-AGI. Сборку и квантизацию выпустил пользователь karmx для экспериментов на одной видеокарте RTX 5060 Ti с 16 ГБ памяти. Модель распространяется в формате GGUF и предназначена для запуска через llama.cpp. Модель поддерживает текстовые и визуальные сценарии при использовании отдельного vision projector, включая распознавание текста на одном изображении, структурированный tool calling и задачи программирования. В протестированной конфигурации заявлена общая длина контекста 131 072 токена, включая промпт, токены изображения и генерируемый ответ. Основной файл имеет размер около 13,32 ГБ, проектор — около 0,90 ГБ. Квантизация использует Q2_K для части routed-expert-тензоров, Q3_K для другой части, Q5_K для эмбеддингов и выходных тензоров, а также Q4_K_M для остальных тензоров; vision projector оставлен в F16. Обучение, объединение моделей и pruning не выполнялись. Сильными сторонами являются поддержка большого контекста, vision-возможностей, инструментальных вызовов и запуск на относительно компактной видеокарте. При этом это экспериментальная сборка с ограничениями качества и совместимости: в сравнении с эталонной Q5_K_M зафиксировано снижение результатов на HumanEval+ и MBPP+, а отсутствие регрессий не подтверждено. Надёжность работы с 128K-контекстом, несколькими изображениями, скорость на стандартной сборке llama.cpp и отсутствие выгрузки в CPU-память не гарантируются; проверка проводилась на конкретной версии llama.cpp, ОС, GPU и настройках. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями необходимо скачать оба файла — GGUF-модель и vision projector. Это не официальный релиз Nex-AGI.

OLMo-2-1124-13B-DPO — англоязычная причинная языковая модель семейства OLMo 2, разработанная Allen Institute for AI (AI2). Это диалоговая версия с 13,2 млрд параметров: после supervised fine-tuning на варианте набора Tülu 3 она прошла дополнительное обучение методом DPO на данных предпочтений. Модель предназначена для генерации текста, диалога и выполнения инструкций, включая задачи рассуждения и математики. Модель принимает текст и генерирует текст, поддерживает чат-шаблон и имеет контекст длиной до 4096 токенов. Обучение охватывает разнообразные публичные, синтетические и созданные людьми данные; основной язык — английский. Доступны веса в форматах PyTorch и Safetensors, использовать модель можно на условиях Apache 2.0. В карточке отмечено, что модели OLMo-2 прошли ограниченное обучение безопасности и могут выдавать проблемные ответы, особенно при соответствующем запросе. Для релиза также указано обновление постобученных моделей из-за расхождения логики предварительной токенизации у первоначальных версий; при интеграции важно использовать актуальную версию модели и совместимые компоненты.

duyntnet/OpenHermes-2.5-Mistral-7B-imatrix-GGUF — набор квантованных версий модели OpenHermes-2.5-Mistral-7B, разработанной Teknium. Модель предназначена для генерации текста и диалогового взаимодействия, включая программирование, создание рецептов, обсуждение абстрактных тем и ролевые сценарии. Идентификатор также указывает на формат GGUF и использование imatrix-квантизации. В основе лежит OpenHermes-2.5-Mistral-7B; размер базовой модели — 7 миллиардов параметров. Модель относится к текстовым, поддерживает английский язык и предназначена для text generation. README не содержит сведений о точной архитектуре, доступных вариантах квантования, размере контекста, системных требованиях или поддерживаемых модальностях помимо текста. Сильные стороны модели — универсальность в диалоговых и генеративных сценариях, а также наличие квантованных вариантов, потенциально удобных для локального запуска. Ограничения включают отсутствие подтверждённых данных о качестве, бенчмарках, многоязычности и фактических требованиях к ресурсам. Лицензия указана как other, без дополнительных условий использования в README.

Open-Instruct Open Assistant 7B — языковая модель семейства LLaMA, дообученная Allen Institute for AI на наборе инструкций OpenAssistant/oasst1. Это плотная авторегрессионная модель примерно на 6,6 млрд параметров для генерации текста по инструкциям и ответов в формате диалога. Контекст модели составляет 2048 токенов; для корректной генерации нужно соблюдать предусмотренный формат ввода и переносы строк. Модель подходит для экспериментов с инструкционными диалогами, ответами на вопросы, рассуждениями и генерацией кода. В опубликованной оценке представлены результаты MMLU, GSM, BBH, TyDiQA и Codex-Eval; показатели различаются по задачам и режимам оценки. Репозиторий содержит diff весов, поэтому для использования требуется доступ к исходной модели LLaMA в формате Hugging Face. Лицензирование регулируется лицензией модели из LICENSE.txt и исходной лицензией LLaMA.

Карточка модели roskosmos19/Orca-4B-Instruct-flash на Hugging Face совпадает с карточкой roskosmos19/Orca-4B-Instruct, поэтому описание составлено по ней. Orca-4B-Instruct — компактная инструктивная языковая модель, опубликованная roskosmos19. По карточке она основана на архитектуре Qwen3 и предназначена для диалогов и выполнения текстовых инструкций. Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и принимает контекст до 16 384 токенов. Модель рассчитана на генерацию ответов, следование инструкциям и разговорные сценарии; в метаданных также заявлен интерфейс вызова инструментов. Карточка описывает оптимизацию для экономичного запуска: сокращённый контекст и удалённые мультимодальные специальные токены уменьшают требования к памяти, сохраняя фокус на текстовых ответах. Доступны веса в формате safetensors. Модель подходит для локальных чат-ботов, помощников и других приложений, где важны умеренный размер и стоимость инференса. Ограничение контекста до 16 384 токенов исключает обработку очень длинных запросов; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — Apache-2.0.

orca_mini_v8_1_70b-GGUF — это квантизированная версия языковой модели orca_mini_v8_1_70b, разработанной pankajmathur и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и может запускаться локально, в частности через LM Studio и другие совместимые инструменты llama.cpp. Модель содержит 70 миллиардов параметров и работает с текстом на английском языке. Доступны варианты квантизации от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством вывода; наиболее качественными считаются Q8_0, Q6_K и Q5, а варианты Q3 и Q2 ориентированы на устройства с ограниченными ресурсами, но снижают качество. Для работы рекомендуется использовать указанный в README шаблон промпта с системными, пользовательскими и ассистентскими сообщениями. Сильной стороной модели является возможность локального запуска крупной 70B-модели с выбором подходящего компромисса между качеством и потреблением памяти. Ограничения включают значительные требования к оперативной или видеопамяти даже для сжатых вариантов, а также снижение качества у агрессивных квантизаций. Архитектура, размер контекстного окна и мультимодальные возможности в README не указаны. Указанная лицензия — llama3.3.

rasyosef/Phi-1_5-Instruct-v0.1 — диалоговая языковая модель на базе Microsoft Phi-1.5, дообученная для выполнения инструкций. Это плотный Transformer с примерно 1,7 млрд параметров; модель распространяется в формате safetensors и рассчитана на контекст до 2048 токенов. Для постобучения применялись supervised fine-tuning на 128 тысячах пар инструкций и ответов из OpenHermes-2.5 и оптимизация предпочтений DPO на нескольких наборах данных. Автор рекомендует подавать запросы в формате system/user/assistant. Модель предназначена для ответов на вопросы, следования инструкциям, рассуждений, решения математических задач и генерации кода. В карточке приведены результаты на IFEval, GSM8K, MMLU, TruthfulQA и Winogrande, однако эти оценки не гарантируют точности ответов в практических задачах. Как и другие компактные языковые модели, она может ошибаться и имеет ограниченный контекст. Лицензия — MIT.