II.4Отладка, тестирование и качество ПО

OLMo-2-1124-13B-DPO-Preview — англоязычная плотная авторегрессионная языковая модель семейства OLMo 2, разработанная Allen Institute for AI (AI2). Это вариант OLMo-2 на 13,2 млрд параметров, прошедший supervised fine-tuning на варианте набора Tülu 3, а затем обучение методом DPO на данных предпочтений. Модель предназначена для диалогов, выполнения инструкций и широкого круга задач генерации текста; карточка отмечает задачи MATH, GSM8K и IFEval. Модель принимает текст и выдаёт текст, поддерживает чат-шаблон и имеет контекстное окно 4096 токенов. Она рассчитана прежде всего на английский язык. Веса распространяются в формате PyTorch по лицензии Apache 2.0. В карточке отмечено, что у OLMo 2 ограничено обучение безопасности, поэтому модель может выдавать проблемные ответы, особенно при соответствующих запросах; встроенной фильтрации ответов нет. Сведения о качестве следует рассматривать с учётом того, что это предварительный DPO-вариант.

TheBloke/openchat-3.5-1210-GGUF — это набор квантованных моделей в формате GGUF для OpenChat 3.5 1210, разработанной командой OpenChat. Квантование выполнил TheBloke. В основе используется архитектура Mistral, а модель предназначена для генерации текста и диалоговых сценариев. Модель обучалась на совокупности датасетов с диалогами, инструкциями, математическими задачами, программированием и отзывами о качестве ответов. Она подходит для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Доступны варианты квантования с разной точностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии, что позволяет выбирать баланс между требованиями к памяти и качеством генерации. README не указывает размер модели, поддерживаемые языки и длину контекста. Квантование снижает требования к ресурсам и упрощает запуск на CPU и GPU, но может немного ухудшать качество по сравнению с исходной неквантованной версией; степень влияния зависит от выбранного варианта квантования. Для корректного диалога рекомендуется шаблон OpenChat-Correct. Модель распространяется по лицензии Apache 2.0.

Phi-3-mini-4k-instruct-bnb-4bit — инструкционная языковая модель семейства Phi, разработанная Microsoft AI и командой Phi и опубликованная в 4-битном формате квантования через Unsloth. Модель предназначена для диалоговых сценариев, генерации и завершения текста, а также для дообучения на собственных наборах данных с использованием Transformers и инструментов Unsloth. Из доступных данных известно, что модель работает с английским языком и имеет контекстное окно на 4K токенов. Суффикс bnb-4bit указывает на 4-битное представление, ориентированное на снижение требований к памяти и запуск на более доступном оборудовании. README также указывает на поддержку дообучения и последующего экспорта в форматы GGUF и vLLM, однако точный размер модели, архитектура и результаты оценки для этой конкретной версии не приведены. Сильными сторонами являются компактное квантованное представление и пригодность для локального запуска и экспериментов с дообучением. Ограничения включают заявленную языковую специализацию на английском, ограничение контекста 4K токенами и возможные потери качества, связанные с 4-битным квантованием. Модель распространяется по лицензии MIT.

MingZwhy/Qwen3-4B-W2.79-QAOPD — языковая модель Qwen3 с плотной архитектурой Qwen3ForCausalLM и 3,7 млрд параметров. Это квантизированная и доработанная дистилляцией версия Qwen/Qwen3-4B: веса представлены смешанной точностью INT1.58 и INT4 в блоках по 256, с эффективной разрядностью 2,79 бита; эмбеддинги и выходной слой — INT4, активации — INT8. Квантизация включена в чекпойнт. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики и программирования. В карточке приведены результаты на GSM8K, MATH-500, AMC23, MBPP, HumanEval и QA9; по указанным метрикам она уступает исходной версии Qwen3-4B BF16. Контекст составляет до 40 960 токенов. Для загрузки README предлагает Transformers и AutoModelForCausalLM. Модель выпущена MingZwhy под лицензией Apache-2.0. В описании бенчмарков приведены режимы оценки, но они не гарантируют аналогичного качества на других задачах; поддерживаемые языки в предоставленных данных не перечислены.

bernquant/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это 27-миллиардная модель семейства Qwen3.6 в формате GGUF, созданная на базе DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Модель разработана в рамках совместной работы автора, Nightmedia, TeichAI, armand0e и trohrbaugh с использованием Unsloth, многоэтапного fine-tuning и merge нескольких обученных версий. Указаны языки English и Chinese; заявлена поддержка vision, однако подробности о мультимодальной архитектуре и формате входных данных не приведены. Модель предназначена для широкого круга задач: следования инструкциям, решения проблем, reasoning, программирования, творческого письма, fiction и roleplaying. Авторы заявляют об улучшении общего интеллекта, instruction following и reasoning по сравнению с базовой моделью, а также о высоких результатах на ряде бенчмарков. Доступны обычные и MTP-варианты GGUF, включая NEO IMATRIX-квантизации; часть выходного тензора хранится в 16-битной точности. Для MTP-вариантов рекомендуется температура не выше 1 и отключённый repetition penalty; при низком уровне token acceptance рекомендуется использовать обычную квантизацию. К ограничениям относятся отсутствие подробных спецификаций контекстного окна, точного перечня поддерживаемых модальностей, требований к памяти и результатов независимой оценки. Модель позиционируется как uncensored и heretic, поэтому её поведение и фильтрация могут отличаться от стандартных версий Qwen. Заявления о превосходстве над другими моделями основаны на описании авторов и не подтверждены приведёнными в README полными методиками тестирования. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая fine-tune-модель на базе Qwen3.6-27B, разработанная в коллаборации автора модели, Nightmedia, TeichAI, armand0e и trohrbaugh при использовании Unsloth. Модель ориентирована на универсальные сценарии: следование инструкциям, решение задач, рассуждения, программирование, творческое письмо, ролевые сценарии и работу с визуальными данными. Заявлена поддержка английского и китайского языков, а также vision-возможностей; другие параметры контекста в README не указаны. Модель создана как многоэтапная fine-tune-модель с несколькими дообучениями и merge-операциями. В обучении использовались наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также собственные и сторонние датасеты и обучающие трассы. Доступны обычные и MTP GGUF-квантизации, включая NEO IMATRIX; для части выходного тензора заявлена точность 16 бит, а MTP-тензоры имеют Q8_0. По утверждению авторов, модель улучшает следование инструкциям, общий интеллект, решение задач и рассуждения, однако приведённые в README результаты не подтверждены независимыми измерениями и не должны рассматриваться как гарантированные. Для MTP-вариантов рекомендуется температура не выше 1 и отключённая репетиционная штрафная функция; при низком уровне принятия токенов следует использовать обычные кванты. Модель описана как uncensored и heretic, поэтому её поведение и фильтрация контента могут отличаться от базовой модели. Лицензия — Apache-2.0.

Qwen3.6-27B-nvfp4-NInfer — это квантованное мультимодальное представление модели Qwen3.6-27B, подготовленное Neroued для собственного движка NInfer. Модель преобразована из сборки Qwen3.6-27B-PrismaSCOUT-Blackwell-NVFP4-BF16-vllm в нативный формат артефакта .ninfer. Архитектура указана как Qwen3_5ForCausalLM, размер артефакта составляет около 17,07 ГиБ, а веса используют смешанное представление NVFP4/BF16 с оптимизированными путями W4A4 Tensor Core для prefill и A16 NVFP4 для decode. Модель предназначена для генерации текста в режимах с рассуждением и без него, а также для мультимодальных сценариев с изображениями, несколькими изображениями, видео и смешанными сообщениями. Поддерживаются MTP-спекулятивная генерация, повторное использование prefix, CLI и локальное серверное выполнение через общий Engine-маршрут. В карточке приведены результаты оценки: 93,33% на AIME 2025, 93,33% на AIME 2026 и 84,34% на GPQA-Diamond; эти показатели заявлены для режима zero-shot. Основные ограничения связаны с совместимостью: артефакт предназначен только для NInfer и не является checkpoint для Transformers, распространением Safetensors или файлом GGUF. Для работы требуются 64-битный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a, CUDA Toolkit 13.1 или новее и сборка NInfer из исходников указанной ревизии или более поздней. В README указана лицензия Apache-2.0. Языки и точный максимальный контекст самой модели явно не указаны; пример сервера демонстрирует логический предел запроса в 240 000 токенов.

Карточка модели willhx/Qwen3-8B-Base-TauSFT на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Stable LM 2 12B — базовая авторегрессионная языковая модель, разработанная Stability AI. Это плотный трансформер-декодер с 11,6 млрд параметров по метаданным (в README указано 12,1 млрд), обученный на 2 трлн токенов текстовых и программных данных. Модель предназначена для дальнейшей тонкой настройки под прикладные задачи. Модель генерирует продолжение текста по текстовому запросу. В архитектуре используются Rotary Position Embeddings, групповые запросы внимания и токенизатор Arcade100k; максимальная длина контекста — 4096 токенов. В обучающих данных есть несколько европейских языков и код, однако в README основным языком назван английский. Это базовая модель, поэтому её поведение и пригодность для конкретной задачи требуют оценки и, как правило, дообучения. Она может выдавать ненадёжный, небезопасный или нежелательный текст, включая отражение предвзятостей обучающих данных. Указана Stability AI Community License; условия коммерческого использования следует проверять по лицензии модели.

airoboros-33b-gpt4-1.4 — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, дообученная Джоном Дёрбином методом QLoRA на синтетических данных, созданных GPT-4. Модель предназначена для диалогов с ассистентом, ответов на вопросы по заданному контексту, написания текстов и кода, ролевых бесед, загадок и викторин. Для программирования обучающие примеры включают задачи Rosetta Code на десяти языках программирования. Модель принимает текст и генерирует текст; для диалогов использует шаблон Vicuna 1.1 и обученный формат с ролями пользователя и ассистента. В карточке указан контекст длиной 2048 токенов. При ответах по предоставленному контексту модель настраивали опираться на него и ограничивать выдуманные сведения, однако README отмечает, что этот режим лучше дополнительно инструктировать не придумывать неизвестные ответы. Автор пометил модель как ещё не протестированную, поэтому её качество и надёжность не подтверждены. В README также указано, что она формировалась для ответов без отказов, в том числе независимо от законности или морали запроса. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Atom v1 Preview 12B — это языковая модель в формате GGUF, созданная на основе vanta-research/atom-v1-preview-12b. Данный репозиторий подготовлен mradermacher и содержит imatrix-квантизации для запуска в совместимых инструментах. Модель ориентирована на диалоговые сценарии, совместную работу, обучение, исследовательскую помощь, рассуждения и решение задач. README также указывает на поддержку изображений, однако файлы mmproj размещаются в отдельном статическом репозитории. Модель имеет размер около 12 млрд параметров и заявлена для английского языка. Доступны варианты квантизации от IQ1_S до Q6_K с размером файлов примерно от 3,0 до 9,8 ГБ. В README отмечается, что IQ-квантизации часто предпочтительнее аналогичных по размеру обычных вариантов; Q4_K_M обозначен как быстрый и рекомендуемый вариант, а Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Более низкие уровни квантизации экономят память, но могут заметно снижать качество. Модель может быть полезна для локальных чат-ботов, образовательных приложений, исследовательских ассистентов и задач генерации текста с элементами рассуждения. Ограничения включают предварительный статус версии, зависимость качества от выбранной квантизации, отсутствие в README данных о длине контекста и подробных результатах оценки. Указана лицензия Gemma; условия её применения следует проверять по правилам лицензии базовой модели.

Covenant-72B-Chat — диалоговая языковая модель с настройкой по инструкциям, созданная на основе Covenant-72B. Разработчики описывают базовую модель как крупнейшую языковую модель, обученную совместно без разрешений; вариант Chat дообучен методом supervised fine-tuning. Модель использует плотную архитектуру LLaMA (LlamaForCausalLM), содержит около 70,6 млрд параметров и принимает текст для генерации ответов в диалоге. Контекст составляет 8192 токена, поддерживаемый язык по карточке — английский. Модель предназначена для диалоговых ответов и выполнения инструкций на естественном языке. В README приведены результаты бенчмарков по рассуждениям, математике, общим знаниям и следованию инструкциям; эти оценки показывают способности на тестовых наборах, но не гарантируют точность в прикладных сценариях. Опубликована в формате safetensors под лицензией Apache 2.0.

Это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Qwen-7B, базирующейся на модели deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Квантизации подготовлены пользователем Dhptl с использованием quant-kit 18 июня 2026 года. Модель относится к классу text-generation и предназначена для диалогов, генерации текста и локального запуска через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Доступны варианты Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0 размером примерно от 2,81 до 7,54 ГБ. Рекомендуемый вариант Q4_K_M занимает 4,36 ГБ и требует около 5,9 ГБ RAM; Q3_K_M ориентирован на системы с 8 ГБ RAM, а Q8_0 — на максимальное приближение к качеству исходной модели при потребности примерно в 9 ГБ RAM. Квантизация уменьшает размер и требования к памяти, но более агрессивные варианты могут заметно снижать качество. Для модели указан английский язык; контекст, точное число параметров архитектуры и мультимодальные возможности в карточке не раскрыты. Модель подходит для локального использования на компьютерах с ограниченными ресурсами и поддерживает работу на CPU или GPU в совместимых инструментах. Приведённые значения сохранения качества около 97–99% являются ориентировочными, а фактические результаты бенчмарков в README отсутствуют. Лицензия — MIT.

DeepSeek-V4-Flash-0731 GGUF — квантизированная версия текстовой генеративной модели DeepSeek-V4-Flash-0731, разработанной командой DeepSeek и преобразованной в формат GGUF пользователем qtum с использованием llama.cpp. Модель предназначена для генерации и продолжения текста, включая работу с английскими и китайскими запросами, а также для локального запуска через llama.cpp на одной или нескольких видеокартах. Модель использует разреженную MoE-архитектуру с маршрутизацией к 6 экспертам из 256 на каждом токене. В репозитории представлены несколько уровней квантизации размером от 58,8 до 129,9 GiB, распределённых по четырём сегментам; также доступна исходная эталонная сборка размером 145,6 GiB. Все варианты калиброваны с использованием смешанных фрагментов кода, английского и китайского текста. Заявленный размер контекста в примерах запуска составляет 8192 токена, а для speculative decoding — 2048 токенов. Сильными сторонами сборки являются широкий выбор уровней сжатия, защита наиболее важных компонентов модели от чрезмерной квантизации и поддержка DSpark speculative decoding. При этом уменьшение размера сопровождается ростом perplexity, а варианты IQ1 и IQ2 заметно уступают более крупным сборкам по точности. Speculative decoding в текущей реализации требует размещения модели и черновой модели на одном GPU и не работает при распределении целевой модели более чем на одну видеокарту; для запуска нужны все сегменты выбранного варианта. Лицензия — MIT, унаследованная от базовой модели.

DeepSeek V4 Flash — это квантизированная GGUF-версия базовой модели DeepSeek-AI DeepSeek-V4-Flash, подготовленная antirez для инференс-движка ds4. Модель предназначена для генерации текста и работы с англоязычными запросами, включая локальный запуск на системах с Apple Silicon и поддержкой Metal. Модель использует архитектуру Mixture-of-Experts (MoE). Доступны варианты с квантизацией routed experts в форматах 2-bit IQ2_XXS/Q2_K и 4-bit Q4_K, при этом важные компоненты, включая attention projections, shared experts, output head и router, сохранены в менее агрессивных форматах Q8_0, F16 или F32. Размер основных файлов составляет около 80,8 ГиБ для q2 и 153,3 ГиБ для q4. Дополнительный файл MTP размером 3,6 ГиБ обеспечивает поддержку speculative decoding и не является самостоятельной моделью. Сильной стороной сборки является уменьшение размера за счёт агрессивной квантизации экспертных блоков при сохранении точности маршрутизации и ряда ключевых компонентов. Вариант q2 рассчитан на компьютеры с 128 ГиБ оперативной памяти, а q4 — на системы с объёмом памяти от 256 ГиБ. Сборка может работать с другими инференс-движками, но гарантируется прежде всего совместимость с ds4; MTP требует специального загрузчика. В README приведён пример запуска с контекстом до 100000 токенов, однако максимальный контекст самой модели явно не указан. GGUF-файлы распространяются по лицензии MIT; авторские права на базовую модель принадлежат DeepSeek, а распространение квантизированных файлов осуществляется на условиях релиза базовой модели.

Gonzo-Chat-7B — диалоговая языковая модель на архитектуре Mistral, созданная объединением нескольких моделей с помощью mergekit и метода DARE TIES. В состав объединения вошли Nondzu/Mistral-7B-Instruct-v0.2-code-ft, NousResearch/Nous-Hermes-2-Mistral-7B-DPO, cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser и базовая eren23/ogno-monarch-jaskier-merge-7b-OH-PREF-DPO. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов по метаданным; README приводит более раннее значение 8 192 токена. Модель предназначена для диалогов, ролевых сценариев, работы с агентами и несложного программирования, а также для генерации текста по инструкциям. В карточке приведены результаты Open LLM Leaderboard и сравнительных состязаний, но они не гарантируют качество на конкретных задачах. Модель принимает текст и генерирует текст; указан язык en. Распространяется под лицензией Apache-2.0.

LFM2-8B-A1B-GGUF — языковая модель для генерации текста, разработанная компанией Liquid AI. Она предназначена прежде всего для edge AI и локального запуска на устройствах, включая производительные смартфоны, планшеты и ноутбуки. Модель распространяется в формате GGUF и ориентирована на использование с llama.cpp и совместимыми инструментами. Модель построена по архитектуре Mixture of Experts (MoE): содержит около 8,3 млрд общих параметров, из которых при обработке запроса активно используется около 1,5 млрд. По заявлению разработчика, её качество сопоставимо с плотными моделями на 3–4 млрд параметров, а скорость выше, чем у Qwen3-1.7B. По сравнению с LFM2-2.6B улучшены возможности программирования и работы со знаниями. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Размер контекста и дополнительные модальности в README не указаны. Сильными сторонами модели являются сочетание компактного активного размера, скорости и эффективности использования памяти, что делает её подходящей для локального вывода и on-device-сценариев. Ограничения включают отсутствие в предоставленных данных подробных результатов тестирования, точного размера контекста и информации о мультимодальности; заявленные характеристики качества и скорости приведены разработчиком без детальной методики сравнения. Модель распространяется по лицензии lfm1.0.

Это квантованная в формате MXFP4_MOE сборка разговорной гибридной MoE-модели Ling-3.0-flash от Inclusion AI, опубликованная в формате GGUF. Она предназначена для генерации текста в диалогах; базовая модель также рассчитана на программирование и многошаговые агентные задачи. Для запуска в карточке рекомендуется llama.cpp. Сведения о размере модели, контекстном окне и поддерживаемых языках в доступных данных отсутствуют. Квантование уменьшает точность весов и предназначено для запуска модели в более компактном формате, однако доступные данные не содержат результатов оценки качества этой сборки. Лицензия не указана в предоставленных сведениях.

LPT-6.1 Thinking — разговорная языковая модель от LiskCell, представленная как флагман экосистемы xLYR и ассистент Deta. Модель предназначена для диалогов, творческих задач, технических вопросов и многошаговых рассуждений; в репозитории заявлена поддержка английского и иврита. В карточке указаны архитектура семейства Kimi K2.5 с классом KimiK25ForConditionalGeneration, библиотека Transformers и формат весов safetensors. Модель позиционируется как дообученная и настроенная для экосистемы xLYR; её размер и длина контекста в предоставленных данных не приведены. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория.

LTM-SFR-RUN-1 — дообученная языковая модель, опубликованная deepjoysur на базе unsloth/qwen2.5-coder-7b-instruct-bnb-4bit. Это плотная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 7,1 млрд параметров; карточка указывает обучение с Unsloth и библиотекой TRL. Модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Указана лицензия Apache-2.0. README не раскрывает специализацию дообучения или результаты оценки качества, поэтому пригодность для конкретных задач следует проверять на собственных примерах.

Meta-Llama-3-8B-Instruct-GGUF-old — это языковая модель для генерации текста и выполнения инструкций, представленная в формате GGUF. Модель основана на Meta Llama 3, разработанной Meta, а репозиторий и сборку данной версии связывает с идентификатором bartowski. По названию модели известно, что она содержит около 8 миллиардов параметров и настроена для диалогового взаимодействия и следования инструкциям. Модель предназначена для англоязычной генерации текста, ответов на запросы и других задач, поддерживаемых конвейером text-generation. Формат GGUF ориентирован на локальный запуск средствами, совместимыми с этим форматом, однако конкретные требования к памяти, варианты квантования и максимальный размер контекста в предоставленных данных не указаны. Модель является текстовой и не поддерживает мультимодальные входы по имеющейся информации. К сильным сторонам относятся компактный по современным меркам размер, специализация на инструкциях и возможность использования в локальных сценариях. Ограничениями являются заявленная языковая поддержка только английского, отсутствие сведений о конкретной версии квантования, контекстном окне, производительности и результатах оценки. Использование регулируется Meta Llama 3 Community License: лицензия требует соблюдения условий распространения, указания атрибуции, отображения фразы «Built with Meta Llama 3» при соответствующих сценариях и соблюдения Acceptable Use Policy.

MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp-GGUF — набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Модель предназначена для генерации текста и может использоваться в локальных приложениях, чат-интерфейсах и системах, поддерживающих GGUF, включая llama.cpp, text-generation-webui, LM Studio, GPT4All, KoboldCpp и llama-cpp-python. В репозитории представлены варианты квантования с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Точные размер модели, архитектура исходной модели, максимальная длина контекста и поддерживаемые языки в README не указаны. Формат ориентирован на эффективный запуск, в том числе с GPU-ускорением, однако квантование может влиять на качество по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache-2.0.

Millie 1.1 — мультимодальная языковая модель с поддержкой изображений от LLMs For All, представленная в формате GGUF для локального запуска на устройствах с ограниченной памятью. Это MoE-модель примерно с 35 млрд параметров и 3 млрд активных параметров на токен; около 90% весов хранятся в троичном представлении, остальные тензоры используют более высокую точность. Для обработки изображений предусмотрен отдельный файл vision encoder/projector, который можно не устанавливать при работе только с текстом. Модель основана на Qwen/Qwen3.6-35B-A3B и подходит для диалогов, ответов на вопросы по изображениям и локального мультимодального помощника. В приведённой авторами оценке результаты близки к исходной модели на MMLU Redux и HumanEval+, а на GPQA Diamond заметно ниже; измерения выполнены в отдельных запусках и не гарантируют аналогичных результатов в других сценариях. Репозиторий распространяется по лицензии Apache-2.0.

Карточка модели openbmb/MiniCPM-2B-sft-fp32-llama-format на Hugging Face совпадает с карточкой openbmb/MiniCPM-2B-sft-fp32, поэтому описание составлено по ней. MiniCPM-2B-sft-fp32 — версия языковой модели MiniCPM-2B после instruction fine-tuning (SFT), представленная в формате FP32. Её разработали ModelBest и лаборатория обработки естественного языка Университета Цинхуа. Модель построена на архитектуре MiniCPMForCausalLM, содержит 2,7 млрд параметров и предназначена для генерации текста и диалоговых ответов на английском и китайском языках. Максимальная длина контекста — 4096 токенов. Модель подходит для диалоговых систем, ответов на вопросы, а также генерации текстов, кода и решений математических задач. Разработчики отмечают её компактный размер и возможность развёртывания на устройствах с ограниченными ресурсами после квантизации; этот репозиторий содержит веса FP32. В карточке указана лицензия other, а README сообщает об открытых весах для академических исследований и ограниченного коммерческого использования. Известные ограничения — склонность к галлюцинациям, зависимость ответов от формулировки запроса и вариативность результатов при повторных попытках; знания модели могут быть неточными. Качество генерации в Transformers, по сообщению авторов, может быть ниже, чем при использовании vLLM.

Mistral-Instruct-Ukrainian-SFT — языковая модель Radu Chivereanu, полученная supervised fine-tuning модели Mistral-7B-Instruct-v0.2 на украиноязычных наборах данных. Она предназначена для диалогов и выполнения инструкций на украинском языке, включая ответы на вопросы, задания по чтению и пониманию текста, а также вопросы и ответы по тематике программирования. Модель содержит 7,1 млрд параметров; её архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention. Контекст составляет до 32 768 токенов. Для запросов используется формат инструкций с токенами [INST] и [/INST], также доступен chat template Transformers. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. README приводит результаты нескольких бенчмарков, но они не гарантируют качество на других задачах и данных.

Mistral-Nemo-NT-Ko-12B-dpo — диалоговая языковая модель на архитектуре Mistral с 12,1 млрд параметров, созданная werty1248 как дополнительное DPO-дообучение модели werty1248/Mistral-Nemo-NT-Ko-12B-sft с помощью LoRA. Она предназначена для генерации ответов по инструкциям и многоходового общения; в описанных тестах показала сильные результаты по письму и программированию, однако DPO дало лишь небольшое общее улучшение относительно базовой SFT-модели. Для DPO использовались англоязычные, корейские и китайские пары предпочтений; часть корейских данных была переведена с английского. Базовая модель поддерживает контекст до 128K токенов, но это дообучение выполнялось с контекстом 8K. Метаданные указывают английский, корейский, японский и китайский языки. Модель распространяется в формате safetensors по лицензии Apache-2.0.

NeuralLLaMa-3-8b-ORPO-v0.3 — разговорная языковая модель семейства Llama, опубликованная Kukedlc. Это дообученная версия Meta-Llama-3.1-8B-Instruct с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Модель предназначена для генерации текста в диалогах и ответов на запросы; в README приведены результаты оценки на Open LLM Leaderboard, включая задачи на рассуждение и понимание естественного языка. Модель принимает текст и выдаёт текст, поддерживает контекст до 8192 токенов и распространяется в формате safetensors. Метаданные не содержат сведений о поддерживаемых языках. Лицензия — Apache-2.0. Показатели из таблицы README описывают результаты отдельных бенчмарков и не гарантируют качество для конкретных сценариев.

NeuralLogic-7B-V — языковая модель на архитектуре Mistral, созданная Kukedlc слиянием моделей Kukedlc/Triunvirato-7b и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP с помощью LazyMergekit. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста; базовые модели описаны как диалоговые и настроенные на выполнение инструкций. Модель подходит для диалоговых сценариев, ответов на инструкции и генерации текста. Заявленный размер контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

OPT 6.7B Tulu — плотная авторегрессионная языковая модель семейства OPT, разработанная Allen Institute for AI и дообученная на смеси наборов инструкций FLAN V2, CoT, Dolly, OpenAssistant, GPT4-Alpaca, Code-Alpaca и ShareGPT. Модель содержит 8,8 млрд параметров по метаданным и принимает текстовые запросы для генерации текста по инструкциям; карточка рекомендует передавать сообщение с завершающим переводом строки. Модель предназначена для диалоговых ответов, следования инструкциям, решения задач на рассуждение и помощи с кодом. В исследовании How Far Can Camels Go? её оценивали на MMLU, GSM, BBH, TydiQA и Codex-Eval. Контекст составляет 2048 токенов; указанный в карточке язык — английский. Это полная модель, а не разностный чекпойнт. Она опубликована в формате PyTorch и распространяется по лицензии AI model license, при этом для исходной OPT указана отдельная лицензия opt_license.md. В README приведены сравнительно невысокие результаты на части тестов, включая GSM Direct и Codex-Eval Pass@1, поэтому качество ответов и кода может быть ограниченным.

Orion-14B-Chat — диалоговая языковая модель компании OrionStarAI, дообученная для интерактивного общения на основе Orion-14B, обученной с нуля на многоязычном корпусе объёмом 2,5 трлн токенов. Модель имеет плотную архитектуру OrionForCausalLM и 14,1 млрд параметров; её основной сценарий — генерация ответов в диалоге, также заявлена поддержка задач с кодом. Модель рассчитана на общение на китайском, английском, японском и корейском языках. Длина контекста этой версии — 4096 токенов. В репозитории представлены форматы PyTorch и GGUF. Для развёртывания можно использовать Transformers, vLLM или llama.cpp. Карточка описывает её как модель, дообученную на высококачественном корпусе для интерактивного взаимодействия. Лицензия в предоставленных данных не указана, поэтому условия использования по ним установить нельзя.