I.2Синтез, понимание и проверка знаний

Mixtral-8x7B-Instruct-v0.1 — инструктивная языковая модель Mistral AI на архитектуре Mixtral с разреженной смесью экспертов (MoE). Это дообученная версия Mixtral-8x7B-v0.1 для диалогов и генерации ответов по запросу. Модель принимает текст и выдаёт текст; в карточке заявлен контекст до 32 768 токенов. Для запуска README показывает токенизатор mistral-common и библиотеку mistralinference, а метаданные также указывают поддержку vLLM. Модель подходит для чат-ботов, ответов на вопросы и генерации текста по инструкциям. В карточке она названа демонстрацией возможностей дообучения базовой модели. Указанные языки — английский, французский, итальянский, немецкий и испанский; специализация на каком-либо одном языке не заявлена. README предупреждает, что встроенных механизмов модерации нет. Лицензия — Apache-2.0.

Mixtral-8x7B-v0.1 — предварительно обученная генеративная языковая модель Mistral AI со sparse Mixture of Experts. В архитектуре Mixtral-8x7B восемь экспертов; модель предназначена для генерации текста и служит базовой моделью для дальнейшей адаптации под конкретные сценарии. В карточке разработчик сообщает, что модель превзошла Llama 2 70B на большинстве проверенных ими бенчмарков. Модель рассчитана на работу с текстом и поддерживает контекст до 32 768 токенов. В метаданных указаны английский, французский, итальянский, немецкий и испанский языки. Веса доступны в формате safetensors; репозиторий подготовлен для обслуживания через vLLM, а README также описывает загрузку через Transformers, хотя отдельно предупреждает, что на момент публикации модель ещё нельзя было инстанцировать через HF. Лицензия — Apache 2.0. Это базовая модель без встроенных механизмов модерации, поэтому ответы могут включать нежелательный контент. Для безопасного применения в пользовательских сценариях нужна отдельная проверка и настройка поведения модели.

Joemgu/mlong-t5-base-sumstew — модель суммаризации на архитектуре LongT5, разработанная автором репозитория и дообученная на наборе данных Joemgu/sumstew. Она принимает документ с инструкцией «Summarize:» или «Write a title and summarize:» и генерирует краткое изложение либо заголовок вместе с изложением. Модель содержит 296 млн параметров, принимает текст с контекстом до 4096 токенов и распространяется в форматах PyTorch и Safetensors через библиотеку Transformers. Модель подходит для сокращения длинных текстов и автоматической подготовки заголовков с кратким содержанием. В метаданных перечислены английский, немецкий, французский, итальянский и испанский языки. Лицензия Apache-2.0 разрешает использование, изменение и распространение при соблюдении её условий. Качество результатов может зависеть от языка и тематики входного документа; отдельные оценки качества в карточке не приведены.

jfarray/Model_paraphrase-multilingual-mpnet-base-v2_50_Epochs — модель Sentence-Transformers на архитектуре XLM-RoBERTa, разработанная пользователем jfarray. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Модель содержит около 305,2 млн параметров, принимает текст и рассчитана на контекст до 514 токенов. В README указано обучение с CosineSimilarityLoss. Название модели указывает на вариант paraphrase-multilingual-mpnet-base-v2, однако базовая модель отдельно в метаданных не указана. Модель подходит для семантического поиска и сопоставления предложений; сведения о поддерживаемых языках в метаданных отсутствуют. Опубликованные файлы — в формате PyTorch. Лицензия в предоставленных данных не указана.

Monarch-7B — языковая модель mlabonne, полученная слиянием моделей OmniTruthyBeagle-7B-v0, NeuBeagle-7B и NeuralOmniBeagle-7B с помощью LazyMergekit. В конфигурации также указан Mistral-7B-v0.1 как базовая модель; слияние выполнено методом dare_ties. Модель построена на архитектуре Mistral с плотной структурой и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и решения широкого круга языковых задач. В карточке приведены оценки на наборах Nous и Open LLM Leaderboard; заявлено первое место на YALL leaderboard на дату обновления 13 февраля 2024 года. Контекстное окно составляет 32 768 токенов. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое использование בלבד.

Vortex5/Moonlit-Shadow-12B — языковая модель, собранная автором репозитория методом Model Stock с помощью mergekit на основе mistralai/Mistral-Nemo-Instruct-2407 и десяти других моделей семейства Mistral-Nemo. Модель имеет плотную архитектуру MistralForCausalLM, содержит 12,1 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по запросам. Её можно использовать для составления текстов, ответов в чате и продолжения пользовательских запросов. В карточке указаны библиотека Transformers и формат весов safetensors. Лицензия в доступных данных не указана.

DevQuasar/moonshotai.Kimi-K2-Instruct-BF16 — это версия в формате BF16 модели moonshotai/Kimi-K2-Instruct, подготовленная DevQuasar и опубликованная для генерации текста. Модель предназначена для диалогового взаимодействия и выполнения инструкций в сценариях, где требуется создавать или продолжать текстовые ответы. Модель содержит 37,9 млрд параметров и поддерживает контекст длиной до 131 072 токенов. В метаданных она классифицирована как text-generation и conversational; формат BF16 может быть удобен для запуска на совместимом оборудовании с поддержкой этого типа чисел. Данные о поддерживаемых естественных языках, архитектуре, лицензии и специализированных областях применения в предоставленных источниках отсутствуют.

zelk12/MT1-Max-Merge_02012025163610-gemma-2-9B — объединённая языковая модель Gemma 2, созданная автором репозитория с помощью mergekit методом SLERP из двух моделей: zelk12/MT1-Max-Merge_02012025163610-MAB-gemma-2-9B и zelk12/MT1-Max-Merge_02012025163610-GMMMUI-gemma-2-9B. Модель с архитектурой Gemma2ForCausalLM и 9 млрд параметров предназначена для генерации текста и диалогового общения; принимает текст и выдаёт текст. Контекст — до 8192 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Язык модели отдельно не заявлен. Модель распространяется по лицензии Gemma.

ValentinaKim разработала многоязычную модель Sentence Transformer для преобразования предложений и абзацев в плотные векторы размерностью 384. Модель дообучена на базе intfloat/multilingual-e5-small; архитектура включает BERT, усреднение токенов и нормализацию векторов. Максимальная длина входа — 512 токенов, сходство текстов можно оценивать косинусной близостью. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README описано обучение на 2320 парах текстов и приведены метрики поиска для вариантов размерности 64, 128 и 256. Модель распространяется по лицензии Apache-2.0.

MyAwesomeModel — модель семейства BERT от пользователя bench-induction-ai на Hugging Face, помеченная для извлечения признаков. Метаданные указывают архитектуру BertModel, библиотеку Transformers, формат PyTorch и лицензию MIT. Это позволяет использовать её для получения векторных представлений текста и последующих задач классификации или поиска.

MyAwesomeModel — языковая модель, представленная в репозитории toolathlon68/MyAwesomeModel-TestRepo. Имя разработчика или организации в README не указано. Модель реализована с использованием библиотеки Transformers и предназначена для задач, требующих рассуждений и генерации текста: математического и логического анализа, ответов на вопросы, понимания текста, классификации, анализа тональности, написания и генерации кода, диалогов, суммаризации, перевода, поиска знаний и следования инструкциям. Также заявлена поддержка function calling, загрузки файлов и генерации с использованием результатов веб-поиска. По данным README, это обновлённая версия модели с увеличенной глубиной рассуждений, улучшенными возможностями вывода и сниженной частотой галлюцинаций. На тесте AIME 2025 заявлено повышение точности с 70% до 87,5%, а средний объём рассуждений вырос примерно с 12 тыс. до 23 тыс. токенов на задачу. В приведённых бенчмарках модель показывает результаты в диапазоне от 0,550 для математического рассуждения до 0,828 для классификации текста, однако методика оценки и названия наборов данных не уточняются. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекстного окна в README не указаны. Упоминается вариант MyAwesomeModel-Small с архитектурой, идентичной базовой модели, и отдельной конфигурацией токенизатора, но подробности также отсутствуют. Для использования рекомендуется системный промпт с текущей датой и температура 0,6; специальные токены для запуска режима рассуждений не требуются. Модель распространяется по лицензии MIT.

Это конвертированное представление мультимодальной модели NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning для нативного инференса через Swift/MLX на компьютерах Apple Silicon. В репозитории сохранены веса BF16 исходной модели: значения тензоров не квантизировались, не округлялись и не обучались заново; изменена раскладка экспертных тензоров для пути MLX gather-matmul. Размер весов составляет около 66,03 ГБ. Модель предназначена для диалоговой работы и рассуждений с текстом, изображениями, аудио и видео; базовая карточка указывает сценарии транскрибации, OCR, суммаризации и обработки документов. Репозиторий поддерживает интерфейс вызова инструментов, но использует специальный нативный формат checkpoint и рассчитан на Nemotron Omni Swift/MLX runtime; он не является готовым checkpoint для Transformers. Лицензия указана как other, поэтому условия использования следует сверять с лицензией исходной модели NVIDIA.

Nemotron-SEA-LION-v4.8-120B-A12B — инструктивная языковая модель AI Singapore для диалога и выполнения разнообразных текстовых задач с учётом языков и контекста Юго-Восточной Азии. Она дообучена на базе aisingapore/Nemotron-SEA-LION-v4.8-120B-A12B-Base с помощью SFT и онлайн-дистилляции по собственным ответам модели; архитектура сочетает Mamba2, Transformer и MoE. В метаданных указано 6,6 млрд параметров, контекст — до 262 144 токенов. Модель предназначена для ответов на вопросы, многоходового диалога, следования инструкциям, суммаризации, анализа тональности, перевода, рассуждений и других текстовых задач. Она рассчитана на английский, бирманский, индонезийский, филиппинский, малайский, тамильский, тайский и вьетнамский языки. Модель распространяется по лицензии MIT. Модель не выравнивалась по безопасности; её устойчивость к состязательным запросам не проверялась. Возможны галлюцинации, нерелевантные ответы и несогласованность, поэтому результаты следует проверять; для прикладного использования разработчикам рекомендуется самостоятельно настроить меры безопасности.

Sakalti/Neptuno-Alpha — объединённая языковая чат-модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В качестве базовой модели использована Sakalti/Neptuno-3B, а в объединении также участвовала bunnycore/Qwen2.5-3B-RP-Mix. Модель содержит 3,1 млрд параметров, распространяется в формате safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на запросы и следование инструкциям. Она принимает текст и выдаёт текст; в метаданных также указаны возможности чата и интерфейс вызова инструментов. В карточке указана лицензия other, поэтому условия использования следует сверять с лицензией и условиями исходных моделей.

neural-chat-7b-v3-2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi объединением Mistral-7B-Instruct-v0.2 и Intel/neural-chat-7b-v3-2 методом SLERP. Это плотная архитектура Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в формате чата. Модель принимает текст и выдаёт текст; её контекстное окно составляет до 32 768 токенов. Модель подходит для диалоговых ассистентов, ответов на вопросы, следования текстовым инструкциям и генерации текста общего назначения. В метаданных указана лицензия Apache-2.0. Данных о специальных ограничениях качества или целевых областях применения в предоставленной карточке нет.

NeuralDaredevil-7B — диалоговая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная mlabonne. Это DPO-дообучение модели mlabonne/Daredevil-7B на предпочтениях из набора argilla/distilabel-intel-orca-dpo-pairs. Модель предназначена для генерации текста и ответов в диалоге; использует шаблон запросов Mistral-7B-Instruct-v0.2 и поддерживает контекст до 32 768 токенов. В README приведены результаты оценивания на наборах Nous и Open LLM Leaderboard. Модель распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Nous-Hermes-2-DPO_into_Nous_Hermes-2-Pro — слитая модель, созданная с помощью LazyMergekit на основе NousResearch/Nous-Hermes-2-Mistral-7B-DPO и NousResearch/Hermes-2-Pro-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и диалогов; контекстное окно составляет 32 768 токенов. Модель поддерживает чат-сценарии и использует формат весов safetensors. Слияние выполнено методом SLERP с настройками, заданными по слоям и компонентам внимания и MLP; в README указан тип данных bfloat16. Метаданные не содержат сведений о лицензии и конкретном наборе поддерживаемых языков, поэтому их нельзя надёжно указать.

Карточка модели ashton25549/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель общего назначения от NVIDIA для диалога, рассуждений и генерации текста. Это эталонные веса в формате BF16, предназначенные прежде всего для дообучения, адаптации к предметным областям, исследований и подготовки собственных квантованных вариантов. Модель готова к коммерческому использованию; в карточке лицензия указана как other. Архитектура — гибридная Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными слоями Attention; также используются слои Multi-Token Prediction. В README заявлены 30 млрд параметров всего и 3 млрд активных, а в метаданных каталога — 1,9 млрд параметров. Модель поддерживает контекст до 262 144 токенов по метаданным; README указывает до 1 млн токенов для отдельных конфигураций оборудования. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а README дополнительно описывает посттренировочные данные на китайском. Модель предназначена для настройки под пользовательские данные с помощью SFT, RL или дистилляции, а также для оценки и генерации текста в чат- и агентных сценариях. Полноточный вариант требует значительных ресурсов для инференса: README приводит 256K контекста для одной H100 80 GB и конфигурации до 1 млн токенов на более мощном оборудовании. Для более быстрой производственной генерации NVIDIA рекомендует отдельную NVFP4-версию.

Omni-Reasoner4-Merged — объединённая языковая модель от prithivMLmods, созданная методом Model Stock с помощью mergekit. В объединение вошли Qwen/QwQ-32B-Preview, Qwen/Qwen2.5-32B и prithivMLmods/Blaze.1-32B-Instruct; в качестве базовой модели указана Qwen/QwQ-32B-Preview. Модель имеет архитектуру Qwen2ForCausalLM, содержит 32 млрд параметров и принимает текст для генерации текста и диалоговых ответов. Длина контекста — 32 768 токенов; заявлена поддержка интерфейса вызова инструментов. Модель подходит для диалоговых сценариев и генерации текста, включая задачи рассуждения, на которые указывает название и включение QwQ-32B-Preview. Поддерживаемые языки в карточке не перечислены. Файлы представлены в формате safetensors и предназначены для использования с Transformers. Лицензия в предоставленных данных не указана.

OpenBuddy — мультиязычная разговорная модель, созданная на базе Meta Llama 3.1 8B Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов, предназначенная для диалога и генерации текста. Её можно запускать локально через Ollama, а для развёртывания API README рекомендует Transformers или vLLM и соответствующий формат токенизатора. Модель предназначена прежде всего для общения на английском и китайском языках; метаданные также перечисляют французский, немецкий, японский, корейский, итальянский и финский. OpenBuddy указывает лицензию как other, а README отсылает к условиям использования и предупреждает, что ответы могут быть ошибочными или вредными. Модель не рекомендуется для медицинских, финансовых, юридических и других критически важных решений.

OpenBuddy-R10528DistillQwen-14B-v27.3-200K — диалоговая языковая модель OpenBuddy на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-14B-Base с использованием дистиллированных данных DeepSeek-R1-0528. Модель содержит 14 млрд параметров и поддерживает контекст до 200 000 токенов. Модель предназначена для многоязычного чат-общения, ответов на вопросы и генерации текста. В карточке перечислены китайский, английский, французский, немецкий, японский, корейский, итальянский и финский языки. Для работы автор рекомендует быстрый токенизатор из transformers; формат диалога также задан в tokenizer_config.json и совместим с запуском через vLLM. Модель распространяется по лицензии Apache 2.0. Она может выдавать ошибочные, вредные или оскорбительные ответы; авторы предостерегают от применения в критически важных и высокорисковых сценариях, включая медицину, управление потенциально опасными системами, а также важные финансовые и юридические решения.

OpenBuddy-R10528DistillQwen-72B-Preview3 — диалоговая языковая модель OpenBuddy на архитектуре Qwen2.5, дообученная на базе Qwen/Qwen2.5-72B-Base с использованием дистилляции DeepSeek-R1-0528. Она содержит 71,5 млрд параметров, принимает текстовые запросы и генерирует текстовые ответы; заявленная длина контекста — 200 000 токенов. Модель предназначена для многоязычного общения, ответов на вопросы и пошагового рассуждения. В карточке перечислены китайский, английский, французский, немецкий, японский, корейский, итальянский и финский языки. Поддерживается диалоговый шаблон запросов в стиле Qwen3 и интерфейс вызова инструментов. Модель распространяется по лицензии Qwen2.5 72B License. Ответы могут быть ошибочными, вредными или оскорбительными. Разработчик не рекомендует применять модель в критических сценариях, включая медицину, управление потенциально опасными системами и важные финансовые или юридические решения.

CrazyDave53/OpenCV-finetuned — модель Sentence Transformers, дообученная на базе HZeroxium/paraphrase-multilingual-MiniLM-L12-v2-job-cv-multi-dataset. Она преобразует предложения и абзацы в плотные векторы размерности 384; близость текстов можно оценивать косинусным сходством. Архитектура включает BertModel и mean pooling. В README указана максимальная длина последовательности 350 токенов, а в метаданных — контекст до 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текста на основе эмбеддингов. README сообщает о датасете обучения из 160 000 примеров; метаданные указывают 124,3 млн параметров, библиотеку sentence-transformers и формат safetensors. Базовая модель мультиязычная, однако конкретные языки обучения или поддерживаемые языки в доступных данных не перечислены. Лицензия в предоставленных метаданных и README не приведена. Для работы с текстами длиннее 350 токенов следует учитывать ограничение длины последовательности, заявленное в README; фактический предел также может зависеть от используемой конфигурации модели.

MaziyarPanahi/OpenHermes-2.5-neural-chat-7b-v3-2-7B-Mistral-7B-Instruct-v0.2-slerp — слитая диалоговая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/OpenHermes-2.5-neural-chat-7b-v3-2-7B. Веса представлены в формате safetensors; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате. Её можно применять для чат-ботов, написания и редактирования текстов, а также ответов на вопросы. Карточка не сообщает о специализированной области применения или поддерживаемых языках. Лицензия — Apache-2.0.

Open-Instruct Flan V2 13B — плотная авторегрессионная модель семейства LLaMA с 12,9 млрд параметров, дообученная исследователями Allen Institute for AI на наборе инструкций Flan V2. Она предназначена для генерации ответов на инструкции и общих текстовых запросов. Модель принимает текст и выдаёт текст; для работы ожидается форматирование входа по шаблону из карточки, а максимальная длина контекста составляет 2048 токенов. В карточке приведены результаты на тестах знаний, математики, рассуждений, вопросов и ответов и генерации кода. Модель опубликована как diff: для восстановления весов требуется исходная модель LLaMA в формате Hugging Face. Лицензия определяется лицензией AI model, приложенной к репозиторию, и исходной лицензией LLaMA.

Карточка модели KOLKAHORKOV/paraphrase-multilingual-MiniLM-L12-v2 на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

Карточка модели nonamehdj/paraphrase-multilingual-MiniLM-L12-v2 на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

bunsenfeng/parti_5_full — текстовая генеративная модель на архитектуре Qwen2, опубликованная bunsenfeng. Метаданные Hugging Face указывают около 7,1 млрд параметров, контекст до 32 768 токенов и поддержку диалогового режима; модель принимает текст и генерирует текст. Поиск также обнаружил карточку Featherless, описывающую модель как 7,6-миллиардную и заявляющую контекст 131 072 токена, однако это расходится с метаданными Hugging Face, поэтому в характеристиках использованы значения метаданных. Модель подходит для диалогов, генерации текста и работы с длинными текстовыми запросами в пределах указанного контекста. Карточка Featherless относит её к дообученным моделям, но надёжно установить базовую модель и конкретные специализации по доступным сведениям нельзя. Репозиторий содержит веса safetensors; сведения о лицензии, языковом охвате и оценках качества не подтверждены использованными источниками.

dbourget подготовил Sentence Transformer на базе dbourget/philai-embeddings-2.0, дообучив его для получения векторных представлений предложений и абзацев. Модель использует архитектуру BERT с 136,7 млн параметров и формирует плотные эмбеддинги размерности 1024; для сходства рекомендуется косинусная мера. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации. В README приведена оценка на наборе beatai-dev с TripletEvaluator: точность cosine составляет 0,8215. Метаданные указывают задачи sentence-similarity и feature-extraction; модель реализована на Sentence Transformers и опубликована в формате safetensors. Лицензия в предоставленных данных не указана.

microsoft/Phi-3-mini-4k-instruct-gguf — репозиторий с файлами в формате GGUF для Phi-3-Mini-4K-Instruct, разработанной Microsoft. Это компактная языковая модель для генерации текста и выполнения инструкций на английском языке, предназначенная для коммерческого и исследовательского использования, включая приложения с ограниченными ресурсами памяти и вычислений, требованиями к низкой задержке, а также задачи рассуждения, математики, логики, понимания языка и работы с контекстом. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4096 токенов. Она обучалась на данных Phi-3, включающих синтетические примеры и отфильтрованные общедоступные веб-данные с акцентом на качество и плотность рассуждений. Постобучение включает supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и безопасности. Репозиторий предлагает варианты GGUF, включая 4-битную квантизацию Q4_K_M размером около 2,2 ГБ и FP16 размером около 7,2 ГБ. Сильными сторонами являются малый размер, эффективность в ресурсоограниченных и чувствительных к задержке сценариях, а также заявленная высокая производительность среди моделей с менее чем 13 млрд параметров. Модель не предназначена специально и не оценивалась для всех прикладных сценариев; перед использованием в ответственных областях необходимо проверять точность, безопасность и справедливость результатов. Модель распространяется по лицензии MIT.