II.2Создание и понимание программного кода

Locutusque разработал Locutusque/llama-3-neural-chat-v2.2-8B как дообученную модель Meta Llama 3 8B. Модель с архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и рассчитана на генерацию текста в диалоговом формате; заявленный контекст — 8192 токена. Для обучения использовались SFT и DPO-Positive, а данные были изменены для усиления навыков программирования, математики и письма. Модель предназначена для разговорного ИИ, генерации текстов, помощи с кодом и решения математических задач. В README приведены результаты оценок TruthfulQA и GSM8K, но подробный рецепт обучения не опубликован. Модель описана как очень малоцензурированная и может отвечать на широкий круг запросов. Указана лицензия Llama 3; в метаданных лицензия обозначена как other.

Llama3-TenyxChat-70B — чат-модель на базе Llama 3, разработанная Tenyx Research. Модель объёмом 69,5 млрд параметров дообучена методом Direct Preference Optimization (DPO) на наборе предпочтений UltraFeedback с применением фирменного подхода Tenyx к тонкой настройке. Она использует архитектуру LlamaForCausalLM и шаблон чата Llama 3; заявленная длина контекста — 8192 токена. Модель предназначена для диалоговых ответов и работы в роли полезного ассистента: она может помогать с письмом, извлечением сведений, программированием, математическими и STEM-вопросами, а также общими вопросами и рассуждениями. В карточке сообщается о результатах на MT-Bench и других бенчмарках, однако авторы отмечают, что модель может испытывать трудности с рассуждениями и математикой и иногда отвечает слишком многословно. Её специально не настраивали на соответствие предпочтениям безопасности людей, поэтому при провокационных запросах возможны нежелательные ответы. Модель рассчитана на английский язык. Лицензия — Meta Llama 3 Community License.

llm-jp-4-32b-a3b-thinking-gguf — языковая модель на базе Transformer, разработанная Research and Development Center for Large Language Models при National Institute of Informatics в Японии. Это thinking-вариант серии LLM-jp-4, предназначенный для генерации текста, диалогов и решения инструктивных задач на японском и английском языках, а также для работы с программным кодом на распространённых языках программирования. Модель использует архитектуру Mixture-of-Experts: 32 слоя, 128 маршрутизируемых экспертов, из которых для каждого входа активируются 8. Общее число параметров составляет около 32,1 млрд, при этом активируется около 3,83 млрд параметров. Контекстное окно — 65 536 токенов. Токенизатор основан на Unigram byte-fallback и совместим с шаблоном диалога OpenAI Harmony, однако необходимо использовать токенизатор из этого репозитория. Thinking-модель обучалась с помощью supervised fine-tuning и direct preference optimization без reinforcement learning; предварительное и промежуточное обучение проводилось на 11,7 трлн токенов. К сильным сторонам относятся специализированная поддержка японского языка, длинный контекст, MoE-архитектура с относительно небольшим числом активных параметров и дополнительное обучение для рассуждений и следования инструкциям. Ограничения включают отсутствие заявленных количественных результатов в доступной части README и необходимость специальной версии llama.cpp: стандартная upstream-версия может некорректно обрабатывать токенизацию и чат. Модель распространяется по лицензии Apache-2.0.

MasherAI-7B-v5 — языковая модель для генерации текста и диалогов, собранная разработчиком mahiatlinux с помощью LazyMergekit. Это слияние методом slerp моделей mahiatlinux/MasherAI-7B-v4 и teknium/OpenHermes-2.5-Mistral-7B; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и предназначена для чат-сценариев и генерации текста. Модель может быть полезна для ведения диалогов, ответов на вопросы и помощи с кодом — эти возможности связаны с базовой моделью OpenHermes-2.5-Mistral-7B. В карточке MasherAI-7B-v5 отдельные языки, специальные области применения и подробные ограничения не описаны. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных источниках отсутствуют.

Meta-Llama-3.1-8B-Instruct-quantized.w8a8 — языковая модель для генерации текста и ассистентского диалога, созданная Neural Magic на основе Meta-Llama-3.1-8B-Instruct от Meta. Модель поддерживает текстовый ввод и вывод, предназначена для коммерческого и исследовательского использования в многоязычных сценариях. В заявленной языковой поддержке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Архитектура — LlamaForCausalLM, размер базовой модели — 8 млрд параметров. Ключевая особенность — INT8-квантизация весов и активаций линейных слоёв Transformer-блоков с использованием GPTQ и библиотеки llm-compressor. Это примерно вдвое снижает требования к памяти и размер модели на диске, а также может примерно вдвое повысить пропускную способность матричных операций. По приведённым оценкам, модель сохраняет качество, близкое к неквантизированной версии: результаты составляют 105,4% для Arena-Hard, 100,3% для OpenLLM v1, 101,5% для OpenLLM v2, 99,7% для HumanEval pass@1 и 98,8% для HumanEval+ pass@1 относительно соответствующих базовых показателей. Для развёртывания рекомендуется vLLM; ограничения включают возможные последствия потери точности из-за квантизации и запрет использования с нарушением применимого законодательства. Лицензия — Llama 3.1.

Phi-4-reasoning-plus-GGUF — это набор квантизированных версий языковой модели Phi-4-reasoning-plus, разработанной Microsoft и преобразованной в формат GGUF автором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогового взаимодействия, решения математических задач, программирования и задач, требующих рассуждений. В README указана поддержка английского языка и рекомендована температура генерации 0. Доступны варианты от исходных весов BF16 размером 29,32 ГБ до квантизаций Q8_0, Q6_K, Q5_K, Q4_K и других объёмом примерно от 8,4 до 15,6 ГБ. Разные варианты позволяют выбирать баланс между качеством, размером и требованиями к ресурсам; наиболее качественными и рекомендуемыми названы Q6_K_L, Q6_K, Q5_K и Q4_K_M. Модель рассчитана на локальный запуск через LM Studio, llama.cpp и совместимые проекты. Архитектура, число параметров, размер контекста и мультимодальные возможности в README не указаны; заявлена только текстовая генерация. Лицензия — MIT. Ограничения связаны с использованием квантизированных весов: качество и требования к памяти зависят от выбранного варианта, а некоторые форматы обозначены как устаревшие. Для корректной работы требуется соблюдать рекомендованный шаблон промпта Phi и использовать совместимое программное обеспечение.

MiniCPM5-2B MLX 4-bit — это квантизированная версия языковой модели OpenBMB/MiniCPM5-2B, подготовленная для локального запуска в формате MLX. Исходная модель разработана OpenBMB; данный вариант представлен пользователем abenzerps. Модель предназначена для генерации текста, программирования, рассуждений, работы с длинным контекстом и использования инструментов. Модель имеет плотную Llama-подобную архитектуру и содержит около 2 млрд параметров. Это текстовая модель без поддержки изображений: в поставку не входят vision-проектор и файлы MTP. Поддерживаются английский и китайский языки. Заявленная нативная длина контекста исходной модели составляет 131 072 токена. Квантование выполнено методом affine 4-bit с размером группы 64; размер MLX safetensors-файлов — около 1,4 ГБ. Ключевые преимущества модели — небольшой размер, возможность локального запуска, поддержка длинного контекста и сценариев с инструментами при существенно сниженных требованиях к памяти. Ограничения связаны с 4-битным квантованием, текстовой модальностью и отсутствием заявленных в карточке подробных результатов тестирования для этой конкретной конвертации. Модель распространяется по лицензии Apache-2.0.

Minotaur 13B Fixed — инструктивно дообученная языковая модель OpenAccess AI Collective на базе LLaMA-13B. Версия Fixed исправляет ошибку первого выпуска, из-за которой часть обучающих наборов не попала в обучение. Модель содержит 12,9 млрд параметров, использует плотную архитектуру LLaMA и принимает текстовые запросы; указанное окно контекста — 2048 токенов. Модель рассчитана на диалог в формате USER:/ASSISTANT: и генерирует текстовые ответы. Модель предназначена для следования инструкциям, ответов на вопросы, объяснений и задач по математике и естественным наукам, краткого пересказа, ролевого диалога, сочинения текстов и кода. Для дообучения использовались открытые наборы данных, включая WizardLM, Alpaca-CoT, GPTeacher и наборы по математике, физике, химии и биологии. Лицензия — Apache-2.0. Модель не проходила выравнивание с человеческими предпочтениями методами вроде RLHF и может выдавать проблемные ответы, особенно при соответствующих запросах. Это дообученная модель, поэтому применимы также ограничения базовой LLaMA-13B.

Mistral-Small-4-119B-Uncensored-GGUF — текстовая GGUF-версия модели Mistral Small 4 119B Instruct, разработанная TIMTEH на базе модели Mistral AI. Из исходной мультимодальной модели удалена vision tower, поэтому данная версия работает только с текстом. Модель предназначена для генерации текста, диалогов, рассуждений, программирования и других задач обработки естественного языка, включая сценарии, где требуется меньше ограничений на ответы. Модель содержит 119 млрд параметров и использует архитектуру Mixture of Experts с 128 маршрутизируемыми и одним общим экспертом на каждом слое; для каждого токена активируются 4 эксперта. Архитектура включает 36 decoder layers и Multi-Latent Attention. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского и корейского языков. Исходная модель поддерживает контекст до 128K токенов, однако для GGUF-рантаймов рекомендуется ориентироваться на контекст до 32K токенов. Ключевая особенность — abliteration: из слоёв 9–35 удалено направление, связанное с отказами, без дообучения и изменения датасета. Это расширяет диапазон запросов, на которые модель отвечает, но одновременно уменьшает защитные ограничения и требует ответственного применения. Модель доступна в вариантах квантования от Q2_K до Q8_0, а также в BF16; размер файлов составляет примерно от 41 до 222 ГБ, поэтому требуются значительные ресурсы GPU или оперативной памяти. Совместима с llama.cpp, LM Studio, Jan, koboldcpp, Ollama и другими GGUF-совместимыми средами. Распространяется по лицензии Apache-2.0.

MyAwesomeModel — репозиторий модели пользователя zhujiaying-mcpbench на Hugging Face. Метаданные указывают на архитектуру BERT, класс BertModel и задачу feature-extraction; модель принимает текст и предназначена для получения векторных представлений, например для поиска и сравнения текстов. Указаны библиотека Transformers, формат PyTorch и лицензия MIT. Веб-результат сообщает, что репозиторий пуст и не содержит весов, конфигурации или кода, поэтому применимость модели и заявленные в карточке возможности нельзя проверить. Сведения о размере, контексте и поддерживаемых языках надёжно не установлены.

Soulfate24/Nanbeige4.2-3B-DSpark-ASHQ1-Remix-GGUF — это объединённая и представленная в формате GGUF версия Nanbeige4.2-3B с DSpark, подготовленная в рамках набора ASHQ1-Remix. Репозиторий предназначен для генерации текста и диалогового использования; базовая модель имеет 3,2 млрд параметров и ориентирована на рассуждения, программирование и агентные задачи с вызовом инструментов. В README описана активационно-зависимая квантизация GGUF с параметрами, основанными на измеренных экспериментах, и поддержкой линии AutoRound с ограничениями насыщения. Модель поддерживает английский и китайский языки. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит отдельные сведения о длине контекста и конкретных уровнях квантования для данного файла.

NeoHorse-1-4B-GGUF — набор общественных GGUF-квантизаций модели NeoHorse-1-4B, опубликованный пользователем ngquocvinh на основе модели TokenRhythm/NeoHorse-1-4B. Это текстовая авторегрессионная языковая модель примерно на 4 млрд параметров, дообученная из Qwen3.5-4B для агентских сценариев, использования инструментов, программирования, следования инструкциям и диалогового общения. Модель работает через llama.cpp и поддерживает форматы квантизации GGUF; варианты представлены с разным балансом между размером файлов и точностью сохранения поведения исходной BF16-модели. Модель предназначена для генерации текста, рассуждений, ответов на инструкции, кодирования и текстового tool use. Заявлена нативная длина контекста 262 144 токена, однако практически доступный контекст зависит от используемого runtime, объёма памяти, настроек KV-cache и рабочей нагрузки. Поддерживаются текстовые сценарии; vision-веса отсутствуют. Проверка поведения охватывала английский, вьетнамский и китайский языки, а также код, JSON и текстовый формат вызовов инструментов. Варианты Q8_0 и Q6_K лучше сохраняют исходное поведение, Q5_K_M является сбалансированным выбором, а Q4_K_M — более компактным практическим вариантом. К преимуществам относятся локальный запуск через llama.cpp, большой заявленный контекст, несколько вариантов размера и подтверждённая загрузка всех опубликованных квантизаций на NVIDIA A10M. Ограничения связаны с потерей качества в низкобитных вариантах: Q3 и более низкие версии отмечены как экспериментальные, а тест строгого вывода по JSON Schema завершился ошибкой инициализации runtime-сэмплера. Проверка tool use оценивала только формат сериализации, а не полноценное выполнение инструментов. Указана лицензия Apache-2.0; в данном репозитории изменён только формат хранения посредством квантизации, без дополнительного обучения.

Nex-N2.5-mini-APEX-I-MiniPlus-V2.1-GGUF — это квантизированная версия модели Nex-N2.5-mini, разработанной Nex AGI и подготовленной в формате GGUF пользователем IsValorum. Модель предназначена для генерации текста, рассуждений, программирования и локального запуска через llama.cpp, включая сценарии с частичной или полной выгрузкой весов в системную память и большими контекстами. Модель использует разреженную архитектуру Mixture of Experts с 40 слоями и 256 микроэкспертами. Заявлена поддержка контекста до 256K токенов и языков English, Chinese, Spanish, French, German, Portuguese, Italian, Russian, Japanese, Korean, Vietnamese, Thai и Arabic. В текущей версии применена тензорно-ориентированная квантизация: маршрутизаторы gate_inp сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные компоненты используют варианты IQ3_XXS, Q3_K, Q4_K, Q5_K и Q6_K. Размер сборки составляет примерно 13,74 GiB, или около 14,7 GB. К сильным сторонам относятся сравнительно небольшой объём, сохранение точности маршрутизации экспертов, оптимизация для работы в системной RAM и поддержка длинного контекста. README сообщает о perplexity WikiText-2 6,4725 ± 0,1635 и близком к неквантизированной версии качестве, однако эти результаты следует считать заявленными авторами сборки. Ограничения связаны с потерями качества, присущими квантизации, зависимостью скорости от пропускной способности памяти и требований к объёму RAM или VRAM; для комфортной работы с контекстом до 256K могут потребоваться значительные ресурсы. Модель распространяется по лицензии Apache-2.0.

Nil-PAPA-v1 — языковая модель на 1,5 млрд параметров, полученная pwg0218 слиянием методом SLERP моделей Qwen2.5-1.5B-Instruct и Qwen2.5-Coder-1.5B-Instruct. Она предназначена для генерации текста и диалогов, включая задачи, где полезны навыки работы с кодом. Архитектура — плотная Qwen2ForCausalLM; модель доступна в формате safetensors и поддерживает контекст до 32 768 токенов. Модель можно применять для диалоговых ответов, генерации текста и помощи с кодом. В метаданных также заявлен интерфейс вызова инструментов. Карточка не описывает языковой охват, сравнительные результаты или ограничения качества. Лицензия в предоставленных данных не указана.

Карточка модели luckyChenY/nothink_284 на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 — квантизированная FP8-версия большой языковой модели NVIDIA Nemotron-Nano-3-30B-A3B, разработанная NVIDIA Corporation с нуля. Модель предназначена для генерации текста, диалогов, решения задач с рассуждением, следования инструкциям, работы с кодом и математикой, а также сценариев tool-calling. В карточке также заявлены задачи text-to-text, image-to-text и reasoning, однако подробности о мультимодальных возможностях не приведены. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE, а также 6 attention-слоёв. Всего модель содержит около 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена. Каждый MoE-слой включает 128 экспертов и одного общего эксперта, при этом для токена активируются 6 экспертов. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский языки; также указано улучшение с использованием Qwen. Размер контекста в предоставленных данных не указан. Модель объединяет режимы с рассуждением и без него. По умолчанию она может сначала формировать reasoning trace, а затем итоговый ответ; рассуждение можно отключить через настройку chat template, что немного снижает точность на сложных запросах. К сильным сторонам относятся сочетание высокой общей ёмкости с меньшим числом активных параметров, поддержка нескольких языков и специализированных сценариев, включая reasoning и tool-calling. Ограничениями являются необходимость совместимого инференсного стека и отсутствие в карточке подробных результатов бенчмарков, сведений о контекстном окне и детального описания заявленной image-to-text функциональности. Модель распространяется по NVIDIA Open Model License. Она валидирована в RHOAI 3.0, RHAIIS 3.2.5 и vLLM 0.11.2.

Nemotron-3-Nano-30B-A3B-GGUF — это квантизированная GGUF-версия языковой модели NVIDIA Nemotron-3-Nano-30B-A3B, подготовленная пользователем bartowski на базе NVIDIA. Квантизация выполнена с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на задачи общего назначения, включая работу с текстом, кодом, математикой, научными данными, следование инструкциям и агентские сценарии. В метаданных указаны поддерживаемые языки: английский, испанский, французский, немецкий, японский и итальянский. Архитектурные подробности и размер контекста в README не указаны; из названия известно обозначение 30B A3B. Доступны варианты от BF16 до различных уровней квантизации Q8_0, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Рекомендуемыми названы варианты Q6 и Q4. Сильная сторона модели — широкий выбор квантизаций и возможность локального запуска при существенно меньших требованиях к памяти по сравнению с полными BF16-весами. При этом более сильная квантизация может снижать качество генерации, а низкокачественные варианты предназначены прежде всего для систем с ограниченным объёмом RAM. Лицензия указана как NVIDIA Open Model License; точные условия следует уточнять в тексте лицензии NVIDIA.

Occiglot-7B-EU5-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер с архитектурой Mistral и 7,1 млрд параметров, дообученный на 400 млн токенов многоязычных и программных инструкций. Модель принимает текстовые запросы в формате ChatML и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы, выполнения инструкций и задач с кодом на английском, испанском, французском, немецком и итальянском языках. Карточка приводит предварительные результаты тестирования и отмечает, что часть неанглоязычных оценок основана на машинном переводе, поэтому их следует интерпретировать осторожно. Модель не проходила выравнивание по безопасности и может создавать проблемный контент. Распространяется по лицензии Apache 2.0.

OGSQL-Mistral-7B — модель OneGate, дообученная на базе Mistral 7B Instruct для преобразования запросов на естественном языке в SQL-запросы. Она предназначена для формирования команд к базам данных по описанию пользователя, в том числе для тех, кто не владеет SQL. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. README описывает генерацию SQL, а метаданные указывают текстовую генерацию и чат-возможности. Модель опубликована в формате safetensors и распространяется по лицензии CC BY 4.0.

Olmo 3 7B Instruct — авторегрессионная Transformer-модель Allen Institute for AI (Ai2) для диалогов и выполнения инструкций. Модель содержит 6,9 млрд параметров, рассчитана на английский язык и принимает текст, выдавая текст. Контекстное окно — до 65 536 токенов; модель работает через Transformers и распространяется в формате safetensors. Модель создана на основе allenai/Olmo-3-7B-Instruct-DPO и дополнительно обучена на наборе Dolci-Instruct-RL-7B. Она подходит для ответов на вопросы, общего диалога, задач по математике и программированию. Лицензия Apache 2.0; Ai2 указывает исследовательское и образовательное применение согласно своим рекомендациям ответственного использования. Ответы могут содержать фактические ошибки и предвзятость; без дополнительной фильтрации модель может генерировать вредоносный или чувствительный контент. Результаты следует проверять, а при внедрении учитывать необходимость мер безопасности.

Omni-Reasoner3-Merged — объединение предварительно обученных языковых моделей, созданное с помощью mergekit. В основе объединения лежит prithivMLmods/Llama-Deepsync-3B; также включены модели Codepy-Deepthink-3B, Llama-Doctor-3.2-3B-Instruct, Llama-Magpie-3.2-3B-Instruct и Llama-Sentient-3.2-3B-Instruct. Использован метод Model Stock, веса сохранены в формате bfloat16. Модель предназначена для генерации текста и диалоговых сценариев; среди объединённых моделей есть варианты для медицинских диалогов, программирования и инструктивных ответов. Архитектура — плотная LlamaForCausalLM, размер — 3,2 млрд параметров, нативное контекстное окно — 131 072 токена. Поддерживает текстовый ввод и выдаёт текст. Лицензия и конкретные ограничения в предоставленных данных не описаны. Результаты объединения могут различаться по качеству в зависимости от задачи; профиль одной из базовых моделей указывает на медицинские диалоги, но это не гарантирует точность медицинских ответов.

OpenAi-GPT-oss-20b-abliterated-uncensored-NEO-Imatrix-gguf — это квантизированная GGUF-версия текстовой модели на базе huihui-ai/Huihui-gpt-oss-20b-BF16-abliterated. В README указано, что модель подготовлена DavidAU с использованием наборов данных NEO, Horror и NEOCode для Imatrix-квантизации. Модель ориентирована на генерацию текста, чат, программирование и генерацию кода, рассуждения, решение задач, мозговой штурм, творческие сценарии и работу с общими запросами. Заявлена поддержка английского языка и контекста до 128K токенов. Архитектура описана как Mixture of Experts с 24 экспертами; размер базовой модели — 20B параметров. Доступны варианты квантизации IQ4_NL, Q5_1 и Q8_0, включая варианты с одной, двумя или тремя Imatrix-матрицами. Удаление ограничений и отказов делает модель менее склонной к цензурированным ответам, но автор предупреждает, что из-за abliteration она может быть менее стабильной и «грубоватой»; поведение зависит от варианта квантизации и настроек. README также отмечает, что Q5_1 может быть стабильнее IQ4_NL, тогда как IQ4_NL иногда дает более непредсказуемые и творческие ответы. Модель распространяется по лицензии Apache-2.0. Для работы требуется среда, совместимая с форматом GGUF и соответствующим вариантом квантизации; конкретные аппаратные требования в README не указаны.

Модель kuhess/OpenHermes-2.5-Mistral-7B-alpaca-cleaned — дообученная разработчиком kuhess версия OpenHermes-2.5-Mistral-7B на архитектуре Mistral. Это плотная авторегрессионная языковая модель на 7,1 млрд параметров с контекстом до 32 768 токенов, предназначенная для генерации текста и диалогового общения. При обучении использовались Unsloth и TRL. Модель подходит для ответов на вопросы, написания и продолжения текста, диалоговых помощников и помощи с кодом. В карточке указан английский язык. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. README не приводит подробностей о наборе данных или результатах оценки качества.

Open-Instruct Dolly 13B — языковая модель AllenAI на архитектуре LLaMA, дообученная на наборе инструкций Databricks Dolly 15k. Она предназначена для генерации текста и выполнения инструкций, например для ответов на вопросы, рассуждений и написания кода. Модель содержит 12,9 млрд параметров, работает с текстом и имеет контекстное окно 2048 токенов; для корректной генерации следует использовать формат инструкций, заданный авторами. В карточке приведены результаты оценки на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Это исследовательская работа по настройке моделей на открытых ресурсах, опубликованная в рамках статьи How Far Can Camels Go? Модель распространяется как diff и требует доступной базовой LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model из LICENSE.txt и исходной лицензией LLaMA.

Open-Instruct Human-mix 13B — языковая модель Allen Institute for AI (AI2), полученная дообучением LLaMA с 12,9 млрд параметров на смеси созданных людьми инструкционных данных, включая FLAN V2, CoT, Dolly и OpenAssistant 1. Модель предназначена для генерации ответов на инструкции и запросы на естественном языке; её обучали и оценивали в рамках исследования состояния instruction tuning на открытых ресурсах. Модель использует плотную архитектуру LLaMA и принимает текст. Контекст составляет 2048 токенов; в карточке указан английский язык. Для генерации рекомендуется соблюдать заданный авторами формат входа с переносами строк. В README приведены результаты на тестах знаний, математики, рассуждений, вопросов и ответов и генерации кода. Это diff весов, поэтому для использования нужна доступная базовая LLaMA в формате Hugging Face. Модель распространяется по лицензии AI model license вместе с исходной лицензией LLaMA; условия обеих лицензий следует учитывать при использовании.

Open-Instruct Stanford Alpaca 13B — языковая модель семейства LLaMA с плотной архитектурой, дообученная Allen Institute for AI на наборе инструкций Stanford Alpaca в рамках исследования по instruction tuning на открытых ресурсах. Модель предназначена для генерации ответов на инструкции и запросы на английском языке; для работы с ней следует использовать описанный в карточке формат входного запроса. Модель содержит 12,9 млрд параметров, принимает текст и выдаёт текст. Её контекст составляет 2048 токенов. В карточке приведены результаты на наборах тестов по общим знаниям, математике, рассуждениям, вопросам и ответам, программированию и следованию инструкциям. Это diff весов, для использования которого требуется модель LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model license и исходной лицензией LLaMA.

Phi-3.5-mini-instruct-GGUF — это GGUF-квантизированная версия языковой модели Phi-3.5-mini-instruct, разработанной Microsoft и преобразованной компанией Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи обработки естественного языка и работы с кодом. Она запускается с использованием совместимого ПО, в частности LlamaEdge версии 0.14.0 и выше, с шаблоном запросов phi-3-chat. В README указана поддержка multilingual-сценариев и контекстное окно до 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также f16, размером примерно от 1,42 до 7,64 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые варианты с хорошим балансом размера и качества, при этом f16 обеспечивает отсутствие дополнительного квантования. Модель удобна для локального запуска и развёртывания в средах с ограниченными ресурсами, однако качество и требования к памяти зависят от выбранного варианта квантования. README не содержит подробностей об архитектуре, точном числе параметров, поддерживаемых языках и отдельных результатах оценки. Распространение осуществляется по лицензии MIT, унаследованной от исходной модели Microsoft.

Phi-3.5-MoE-instruct-GGUF — это набор GGUF-квантизованных версий инструкционной языковой модели Phi-3.5-MoE-instruct, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с кодом и многоязычными запросами, и может запускаться локально через llama.cpp или LM Studio. В набор входят варианты от F16 до низкоразрядных Q2 и IQ-квантизаций размером примерно от 15 до 84 ГБ. Доступны версии с различным компромиссом между качеством, требованиями к памяти и скоростью работы; наиболее качественными считаются F16, Q8_0 и Q6, а Q4-варианты ориентированы на более широкий круг локальных сценариев. Модель относится к архитектуре Mixture of Experts, однако точные сведения о числе параметров, длине контекста и поддерживаемых языках в README не указаны; заявлена многоязычность. Сильные стороны — широкий выбор форматов, локальный запуск и возможность подобрать размер модели под доступные ресурсы. Ограничения зависят от уровня квантизации: уменьшение размера может снижать качество, а даже компактные варианты требуют значительного объёма памяти. Модель распространяется по лицензии MIT.

Phi-3-medium-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Microsoft Phi-3-medium-128k-instruct, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для генерации текста, диалогового взаимодействия и задач, связанных с обработкой естественного языка и программным кодом. В README заявлена поддержка multilingual-сценариев и контекстное окно до 128 000 токенов. Доступны варианты от F32 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, а также форматы IQ. Размер файлов составляет примерно от 5,14 до 55,84 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, тогда как компактные варианты снижают требования к памяти ценой качества ответов. Ключевые характеристики исходной архитектуры, точное число параметров, перечень поддерживаемых языков и результаты тестирования в README не указаны. Модель подходит для локального инференса, чат-ботов, генерации и анализа текста, а также помощи с кодом при наличии оборудования с достаточным объёмом оперативной или видеопамяти. Ограничениями являются зависимость качества и требований к ресурсам от выбранной квантизации, а также отсутствие в предоставленных данных подробных оценок производительности и гарантий точности. Указана лицензия MIT, унаследованная от исходной модели Microsoft.

Phi-3-medium-4k-instruct-GGUF — это квантизированная GGUF-версия языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft и подготовленной к квантизации компанией Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи обработки естественного языка и работы с кодом. Указана поддержка нескольких языков, но их точный перечень в карточке не приведён. Модель использует архитектуру Phi, имеет контекст до 4000 токенов и поддерживает формат GGUF с вариантами квантизации от 2 до 8 бит, а также f16. Размер файлов составляет примерно от 5,14 до 27,9 ГБ. Вариант Q4_K_M обозначен как рекомендуемый баланс размера и качества, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Модель совместима с LlamaEdge версии 0.11.2 и выше и использует шаблон запросов phi-3-chat. Основное преимущество этой версии — возможность локального запуска с выбором компромисса между потреблением памяти, размером файла и качеством ответов. Низкобитные варианты экономичнее, но могут заметно терять в качестве; для большинства практических сценариев рекомендуется избегать Q2_K и ряда более агрессивных квантизаций. Карточка не содержит данных о точном числе параметров, обучающих данных, результатах оценки, аппаратных требованиях или ограничениях безопасности. Модель распространяется по лицензии MIT.