II.6Документация и сопровождение разработки

Phi-3.5-mini-instruct_Uncensored-GGUF — это квантизированная версия инструкционной текстовой языковой модели Phi-3.5-mini-instruct_Uncensored, разработанной SicariusSicariiStuff и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев; запуск возможен через llama.cpp и совместимые приложения, включая LM Studio. В README указан специальный формат промпта с ролями system, user и assistant. Доступны варианты от исходных весов F16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов составляет примерно от 1,42 до 7,64 ГБ, что позволяет выбирать между качеством ответов и требованиями к памяти. Для квантизации использовался llama.cpp b3600 с методом imatrix. Более высокие варианты, включая Q6 и Q5, характеризуются как обеспечивающие очень высокое или высокое качество, тогда как Q2 и Q3 экономят память ценой заметного снижения качества. README не содержит сведений о точном числе параметров, архитектуре, длине контекста, поддерживаемых языках или мультимодальности. Модель распространяется по лицензии Apache-2.0.

Модель aliRafik/Phi_4_FineTome_100k_finetuned_16bit — разговорная текстовая модель, дообученная aliRafik на базе unsloth/phi-4-unsloth-bnb-4bit. Она предназначена для генерации ответов в диалоге и других задач продолжения текста. В метаданных указаны плотная архитектура семейства Llama, класс LlamaForCausalLM, 14,1 млрд параметров и контекст до 16 384 токенов; обучение проводилось с использованием Unsloth и библиотеки TRL. Модель принимает текст и генерирует текст. Карточка и языковые метаданные указывают английский язык. Репозиторий распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества или специальных ограничений применения.

PlatYi 34B Llama Q V3 GGUF — это квантизированная версия языковой модели PlatYi 34B Llama Q V3, разработанной KyujinHan, подготовленная и опубликованная в формате GGUF пользователем TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через llama.cpp и совместимые пользовательские интерфейсы и библиотеки. В README указан английский язык, а шаблон запросов основан на формате Alpaca. Модель относится к типу Yi и имеет 34 миллиарда параметров. GGUF — формат, ориентированный на запуск на CPU и GPU; доступны варианты квантования от 2 до 8 бит, позволяющие выбирать компромисс между требованиями к памяти, скоростью и качеством. README не содержит сведений о размере контекста, мультимодальности, результатах тестирования или конкретных преимуществах модели, поэтому её сильные стороны можно описать только как возможность локального использования и выбора уровня квантования. К ограничениям относятся потенциальная потеря качества при низкой разрядности и необходимость подбора варианта под имеющееся оборудование. Для запуска подходят llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другие совместимые инструменты. Модель обучалась с использованием набора данных Open-Platypus. Лицензия указана как CC BY-NC-SA 4.0, предусматривающая обязательное указание авторства, некоммерческое использование и распространение производных материалов на тех же условиях.

bhenrym14/platypus-yi-34b — языковая модель, созданная дообучением chargoddard/Yi-34B-Llama на наборе инструкций garage-bAInd/Open-Platypus. Базовая модель — 01-ai/Yi-34B; веса QLoRA-дообучения ранга 64 объединены с базовой моделью. Используется архитектура LlamaForCausalLM с определениями модели и токенизатором Llama 2, а файлы опубликованы в формате Safetensors. Модель предназначена для генерации текста по инструкциям и ответов в стиле legacy-системного промпта Airoboros до версии 2.0. Размер составляет 33,9 млрд параметров, контекст — до 4096 токенов. Она принимает текст и выдаёт текст. Автор отмечает, что чекпойнт мог быть недостаточно обучен: он сохранён после одной эпохи, а при дальнейшем обучении наблюдалось ухудшение качества. Для применения следует учитывать возможную нестабильность ответов. Лицензия указана как other, поэтому условия использования нужно уточнить у автора или в репозитории.

piotr-ai/polanka_3.7b_exp_wip_260901 — экспериментальная чат-модель семейства Qwen3 MoE от piotr-ai. Она предназначена для генерации текста и диалогов; примеры в карточке показывают запросы на польском, английском и китайском языках. В метаданных указаны архитектура Qwen3MoeForCausalLM, 3,7 млрд параметров, контекст до 40 960 токенов и интерфейс для вызова инструментов. Модель поддерживает польский, английский, китайский, чешский, словацкий, украинский, русский, итальянский, испанский, французский, немецкий, португальский и литовский языки. Репозиторий содержит веса в формате Safetensors. Карточка не описывает результаты оценки качества или конкретные ограничения применения; модель опубликована по лицензии Apache-2.0.

POLARIS-Project_Polaris-4B-Preview-GGUF — это GGUF-квантизированная версия текстовой генеративной модели Polaris-4B-Preview, разработанной POLARIS-Project. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста на английском языке и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. Модель имеет около 4 миллиардов параметров в исходной версии; доступны варианты от BF16 до низкобитных форматов Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 1,96 до 8,05 ГБ, что позволяет выбирать между качеством и требованиями к оперативной памяти. Квантизация imatrix и варианты Q5–Q6 заявлены как обеспечивающие высокое качество при меньшем размере, тогда как Q3 и некоторые низкобитные варианты экономичнее, но могут заметно уступать в качестве. Модель подходит для локального текстового вывода, экспериментов и интеграции в приложения на базе llama.cpp. Мультимодальность, архитектура исходной модели, размер контекстного окна и дополнительные языки в предоставленных данных не указаны. Шаблон чата также не задан, поэтому рекомендуемый формат prompt может потребовать проверки по карточке исходной модели. Распространение указано по лицензии Apache-2.0.

Poseidon-Reasoning-1.7B — компактная языковая модель для генерации текста, дообученная prithivMLmods на Qwen/Qwen3-1.7B. Для обучения использована выборка из первых 70 тысяч записей датасета Poseidon-Reasoning-5M. Модель предназначена для математических, научных и связанных с программированием рассуждений, решения задач и выполнения инструкций. Модель имеет плотную архитектуру Qwen3ForCausalLM, 1,7 млрд параметров и контекст до 40 960 токенов. Она принимает текст и может выдавать объяснения и структурированные ответы, включая Markdown, Python, LaTeX и таблицы. Карточка заявляет многоязычные возможности базовой Qwen3; метаданные карточки указывают английский язык. Лицензия — Apache-2.0. Модель рассчитана на задачи с чёткой постановкой и умеренной сложностью: помощь в математике и естественных науках, пошаговое решение задач и написание кода с ограничениями. Она не предназначена для широкой непринуждённой беседы и может уступать в творческом письме, эмоциональных ответах и неструктурированных спекулятивных рассуждениях.

PowerLM-3B — компактная языковая модель от IBM Research с архитектурой Granite и 3,5 млрд параметров. Она обучена с планировщиком скорости обучения Power и на смеси открытых и проприетарных наборов данных. Модель предназначена для генерации текста и демонстрирует результаты в задачах выбора ответа на естественном языке, генерации кода и математических рассуждений. Контекст составляет 4096 токенов. Для запуска используется библиотека Transformers; README отмечает, что требуется её версия из исходного кода. Модель распространяется по лицензии Apache 2.0. Карточка сообщает о перспективных результатах на бенчмарках, но не приводит их численные значения; пригодность для конкретных задач следует оценивать отдельно.

INTELLECT-3-GGUF — набор квантизированных версий языковой модели INTELLECT-3, разработанной Prime Intellect. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, задач рассуждения, агентских сценариев и применений, связанных с reinforcement learning и verifiers; запуск возможен через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В репозитории представлены файлы в формате GGUF с уровнями квантизации от Q8_0 до вариантов Q2 и IQ. Размеры файлов составляют примерно от 44,71 до 113,61 ГБ. Более высокие уровни, включая Q6_K, Q5_K_M и Q5_K_S, обеспечивают близкое к исходному качество, тогда как низкие уровни экономят память за счёт качества. README также отмечает архитектурную принадлежность к mixture-of-experts и поддержку английского языка, однако точные размеры модели, параметры контекста и полный набор модальностей не указаны. Модель ориентирована на локальный запуск и предлагает выбор между качеством, требованиями к памяти и скоростью инференса. Ограничениями являются значительный объём файлов даже для компактных вариантов и потенциальное снижение качества при использовании низких уровней квантизации. Распространение выполняется по лицензии MIT; базовая модель указана как PrimeIntellect/INTELLECT-3.

Prismatic-12b-v0.1-Experimental-1115 — текстовая языковая модель, созданная LyraNovaHeart как разовое слияние предобученных моделей с помощью mergekit и метода TIES. В качестве основы использована mistralai/Mistral-Nemo-Base-2407; в слияние также вошли inflatebot/MN-12B-Mag-Mell-R1 и nbeerbower/Mistral-Nemo-Prism-12B-v5. Модель имеет плотную архитектуру MistralForCausalLM и содержит 12,1 млрд параметров. Модель предназначена для генерации текста и диалогового общения в формате ChatML или Mistral Tekken. Автор отмечает исправление формата ChatML: добавлен EOS-токен, отсутствовавший ранее. Контекстное окно составляет 1 024 000 токенов по метаданным. Модель опубликована в формате safetensors и распространяется по лицензии Apache 2.0. Это экспериментальная разовая сборка, которую автор предлагает попробовать; README не приводит сравнительных оценок качества или подробных результатов тестирования. Поэтому пригодность для конкретных задач и качество ответов следует проверять самостоятельно.

Q3.6-35B-A3B-abliterated-0520-MAX-GGUF — модель от prithivMLmods, основанная на Qwen/Qwen3.6-35B-A3B и распространяемая в формате GGUF. Это модифицированная версия с применением анализа направлений отказа и обучения методом абляции, направленная на снижение внутренних отказов при сохранении способностей к рассуждению и следованию инструкциям. В README также указана производная модель prithivMLmods/Q3.6-35B-A3B-abliterated-0520-MAX-STOR-check. Модель предназначена для генерации текста, подробных ответов, рассуждений и выполнения инструкций, включая сценарии локального запуска через llama.cpp или совместимые средства инференса. Указан английский язык. Архитектура описана как Mixture-of-Experts с 35 млрд параметров; максимальная длина контекста в README не указана. Наличие файлов mmproj и тега image-text-to-text указывает на заявленную поддержку мультимодального сценария, однако конкретные возможности работы с изображениями не описаны. Доступны варианты квантования от Q2_K до Q8_0, а также BF16 и F16; размеры файлов составляют примерно от 12,9 до 69,4 ГБ, что позволяет выбирать компромисс между требованиями к памяти и качеством. Сильной стороной заявляется улучшенное следование инструкциям и сниженное количество отказов, но это одновременно является ограничением для безопасного применения: поведение модели может быть менее ограничивающим, а качество и безопасность ответов требуют самостоятельной проверки. Модель предназначена авторами для исследований и обучения, а использование осуществляется на риск пользователя. Лицензия — Apache-2.0.

Это GGUF-квантизованная версия текстовой генеративной модели TinyR1-32B-Preview-v0.1, разработанной qihoo360 и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В репозитории представлены варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3_K и другие, размером примерно от 14,39 до 34,82 ГБ. Квантизация выполнена с использованием llama.cpp и параметра imatrix. Для работы рекомендуется применять шаблон промпта, указанный в README. Данные о точной архитектуре, поддерживаемых языках, модальностях и размере контекста не приведены. Сильной стороной модели является широкий выбор вариантов квантизации, позволяющий подобрать баланс между качеством и требованиями к памяти; наиболее качественными названы Q8_0, Q6_K_L и Q6_K, а Q4_K_M описан как подходящий вариант по умолчанию для большинства сценариев. При этом изменения токенизатора устраняют повторяющийся вывод исходной модели, но могут снижать качество. Модель распространяется по лицензии Apache-2.0.

quantumaikr/quantum-dpo-v0.1 — языковая модель семейства Mistral, разработанная Quantum AI. Это плотная авторегрессионная модель на 7,1 млрд параметров для генерации текста и диалогового общения; заявленное окно контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель предназначена для исследовательского использования и доступна по лицензии CC BY-NC 4.0. По README, дообучение направлено на то, чтобы склонить базовую модель к более безопасным распределениям текста. Оно не устраняет все предубеждения и токсичность; ответы не следует считать достоверными фактами или заменой человеческому суждению.

Карточка модели jvjmoura/queensland-ai-gemma3-fine-tuned-live на Hugging Face совпадает с карточкой icaryx/queensland-ai-gemma3-fine-tuned-live, поэтому описание составлено по ней. icaryx/queensland-ai-gemma3-fine-tuned-live — дообученная компанией-разработчиком icaryx диалоговая текстовая модель на базе google/gemma-3-270m-it. Модель обучена с использованием TRL и предназначена для генерации текста в ответ на пользовательские запросы. Это компактная плотная модель архитектуры Gemma 3 с 257 млн параметров и контекстом до 32 768 токенов. Она принимает текст и выдаёт текст; в карточке показан сценарий диалога через Transformers. Лицензия позволяет определить условия использования по указанным данным нельзя.

Qwen1.5-0.5B-Chat — чат-модель семейства Qwen1.5 от команды Qwen, бета-версии Qwen2. Это плотная авторегрессионная языковая модель на архитектуре Transformer с 463,9 млн параметров, предназначенная для диалоговой генерации текста. Модель принимает текст и выдаёт текст; карточка указывает поддержку английского языка, а README описывает серию как многоязычную. Модель рассчитана на ответы в чате и генерацию текста с контекстом до 32 768 токенов. В README отмечены адаптированный к разным естественным языкам и языкам программирования токенизатор и улучшение предпочтений пользователей для чат-версий серии. Для использования требуется Transformers версии 4.37.0 или новее. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует проверять в файлах репозитория.

Репозиторий MarsupialAI содержит сборку модели Qwen1.5-32B-Chat в формате GGUF с квантованиями iMatrix. Файлы созданы с использованием groups_merged.txt от Kalomaze; также включена версия GGUF в FP16, разбитая на части из-за ограничения размера файлов. Модель предназначена для диалоговой генерации текста и может использоваться в чат-приложениях, поддерживающих GGUF. Репозиторий распространяет конвертированные файлы базовой модели Qwen1.5-32B-Chat, а не описывает отдельное дообучение. В метаданных указана лицензия other; дополнительных условий лицензии в карточке нет.

Qwen2-0.5B-Instruct-GGUF — квантованная GGUF-версия малой инструкционной языковой модели Qwen2, разработанной командой Qwen. Модель предназначена для диалогов, генерации и понимания текста, выполнения инструкций, а также задач, связанных с программным кодом, математикой и рассуждениями. Она подходит для локального запуска и развертывания через llama.cpp, включая совместимые с OpenAI API серверы. Модель содержит 0,5 млрд параметров и построена на архитектуре Transformer с активацией SwiGLU, смещениями в QKV внимания и Group Query Attention. Она поддерживает естественные языки и языки программирования; в карточке явно указан английский язык. В репозитории доступны варианты квантования q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать баланс между размером файла, требованиями к ресурсам и качеством. Модель прошла предварительное обучение, supervised fine-tuning и direct preference optimization. К сильным сторонам относятся небольшой размер, возможность локального использования и поддержка нескольких уровней квантования. Ограничения связаны с малым масштабом модели: по сравнению с более крупными моделями она, вероятно, уступает им в сложности рассуждений, качестве генерации и устойчивости на трудных задачах; конкретные ограничения по длине контекста в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen2-1.5B-Instruct-bnb-4bit — квантизированная 4-битная версия инструкционно настроенной языковой модели Qwen2 объёмом 1,5 млрд параметров, опубликованная организацией Unsloth. Модель предназначена для генерации текста и диалоговых сценариев, а также для дообучения на пользовательских наборах данных с использованием Transformers и инструментов Unsloth. В карточке указаны английский язык и библиотека Transformers. Модель поддерживает обучение через готовые ноутбуки Unsloth, ориентированные на начинающих пользователей; заявлена возможность экспорта дообученных моделей в GGUF и использования с vLLM. Архитектура, размер контекстного окна, перечень модальностей и точные характеристики инференса в README не раскрыты. Ключевое преимущество варианта — 4-битное представление, снижающее требования к памяти по сравнению с полноразмерными версиями и упрощающее запуск и дообучение на ограниченных GPU-ресурсах. Ограничения включают отсутствие подробных результатов оценки качества, сведений о поддерживаемых языках помимо английского и информации о безопасности или специализированных областях применения. Указана лицензия Apache-2.0.

rautaditya/qwen2.5-0.5b-dpo — дообученная модель для генерации текста на основе Qwen/Qwen2.5-0.5B-Instruct. Разработчик сообщает, что модель обучена с использованием TRL; тег DPO указывает на дообучение методом Direct Preference Optimization. Это компактная плотная авторегрессионная модель семейства Qwen2 с 494 млн параметров, рассчитанная на диалоговый режим и выполнение инструкций. Модель принимает текстовые сообщения и генерирует текстовые ответы. Её можно применять для диалогов, ответов на вопросы и генерации текста по запросу; максимальная длина контекста составляет 32 768 токенов. Карточка приводит пример запуска через Transformers и text-generation pipeline. Модель унаследовала основу от Qwen2.5-0.5B-Instruct. В карточке не описаны результаты оценки качества, обучающие данные и условия лицензирования самой производной модели, поэтому эти характеристики нельзя определить по предоставленным сведениям.

unsloth/Qwen2.5-0.5B-Instruct-unsloth-bnb-4bit — компактная 4-битная версия модели Qwen2.5-0.5B-Instruct, подготовленная Unsloth на базе семейства Qwen, разработанного командой Qwen. Модель предназначена для задач генерации и обработки текста, включая диалоговые приложения, следование инструкциям, работу со структурированными данными, генерацию JSON, базовое программирование и математические запросы. Модель относится к классу авторегрессионных языковых моделей и содержит около 0,49 млрд параметров, из которых около 0,36 млрд не являются параметрами эмбеддингов. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и Grouped Query Attention с 14 головами для Q и 2 для KV. Заявлена поддержка контекста до 32 768 токенов. Семейство Qwen2.5 поддерживает более 29 языков, включая английский, китайский, русский и другие, однако для данной конкретной версии в метаданных явно указан английский язык. Ключевое преимущество версии — сниженные требования к памяти благодаря 4-битному квантованию Unsloth, при этом заявлено выборочное квантование Dynamic 4-bit для лучшего сохранения точности по сравнению со стандартными 4-битными форматами. Ограничениями являются небольшой размер модели и, как следствие, более ограниченные возможности по сравнению с крупными моделями; README также не содержит подробных результатов бенчмарков именно для этой версии. Лицензия — Apache-2.0.

Qwen2.5-3B-Instruct-IMat-GGUF — набор GGUF-версий модели Qwen/Qwen2.5-3B-Instruct, подготовленный пользователем legraphista. Это инструкционно настроенная текстовая модель для генерации текста и диалоговых сценариев, запускаемая через llama.cpp и совместимые инструменты. В README указана поддержка английского языка. Доступны варианты с исходной точностью BF16/F16 и различными уровнями квантования: от Q8_0 и Q6_K до Q2_K, а также форматы IQ и другие варианты семейства K-quants. Размер файлов составляет примерно от 1,27 до 6,18 ГБ. Для ряда вариантов квантования применена IMatrix-калибровка, предназначенная для сохранения качества при уменьшении размера модели. Точное описание архитектуры и размера контекста в README не приведено. Ключевое преимущество модели — возможность локального запуска с выбором компромисса между качеством, требованиями к памяти и скоростью инференса. Ограничения связаны с потерей качества в более агрессивно квантованных вариантах, а также с тем, что README не содержит результатов бенчмарков и подробных характеристик применения. Модель распространяется по лицензии qwen-research; ссылка на полный текст лицензии указана в карточке исходной модели.

jeffmeloy/Qwen2.5-7B-minperplexity-1 — текстовая генеративная модель на архитектуре Qwen2, созданная путём выбора слоя с наименьшей perplexity из нескольких моделей Qwen2.5-7B. В README перечислены источники, среди которых базовая Qwen/Qwen2.5-7B и её дообученные варианты. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM, поддерживает контекст до 131 072 токенов и рассчитана на диалоговую генерацию текста на английском языке. Модель подходит для генерации продолжений текста и диалоговых ответов. Карточка не приводит результатов оценки качества, подробностей методики отбора слоёв или специальных ограничений применения. Лицензия — Apache-2.0.

AvoCahDoe/qwen2-5-7b-rlmpq-balanced — вариант Qwen2.5-7B, подготовленный методом RL-MPQ (Reinforcement Learning Mixed-Precision Quantization) для сбалансированного соотношения размера и качества. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Базовая модель — Qwen/Qwen2.5-7B; средняя точность квантования составляет 3,3929 бита на вес. Репозиторий содержит fake-quantized веса FP16 и политику распределения битности по слоям; модель совместима с Transformers и имеет контекстное окно до 131 072 токенов. В README качество проверяется по perplexity на WikiText-2, однако численное значение для сценария Balanced в доступной части карточки отсутствует. Модель может применяться для диалога и генерации текста, но квантование смешанной точности способно влиять на качество, а приведённые сведения не подтверждают результаты для других задач или языков. Лицензия — Apache-2.0.

AvoCahDoe/qwen2-5-7b-rlmpq-high-fidelity — квантизированный вариант Qwen/Qwen2.5-7B от AvoCahDoe для генерации текста и диалогов. Модель использует плотную архитектуру Qwen2 с 7,1 млрд параметров и контекстом до 131 072 токенов. По описанию карточки, RL-MPQ подбирает разрядность весов по слоям для сценария High Fidelity; средняя разрядность составляет 3,75 бита на вес. Репозиторий содержит fake-quantized FP16-веса в формате Safetensors и политику разрядности по слоям. Модель предназначена для диалоговой генерации текста при ограничениях на размер весов и сохранении качества. В карточке приведена проверка perplexity на WikiText-2, но результат для этого варианта в предоставленном фрагменте отсутствует. Поддерживается запуск через Transformers. Лицензия — Apache-2.0.

Qwen2.5-7B-Sep_0c1t — языковая модель на 7,1 млрд параметров, разработанная авторами работы Doc2FRC и полученная полнопараметрическим дообучением Qwen/Qwen2.5-7B-Instruct. Это вариант Sep_0c1t: за один вызов он переводит один фрагмент исходного текста в целевой, не используя предыдущие фрагменты документа. Модель основана на плотной архитектуре Qwen2 и работает через Transformers. Модель предназначена для машинного перевода фрагментов между английским и немецким, испанским, французским, итальянским, корейским, нидерландским, португальским, русским и китайским языками в обоих направлениях. Она обучалась на фрагментах длиной 256–512 токенов; максимальная длина последовательности составляет 32 768 токенов. Для перевода целых документов авторы предлагают использовать фиксированное разбиение на фрагменты и скрипты проекта Doc2FRC. Модель выпущена под лицензией Apache-2.0. Поскольку вариант Sep_0c1t не получает контекст предыдущих фрагментов, согласованность перевода между частями документа может быть ограничена; для воспроизведения настроек и оценки из статьи следует обратиться к материалам Doc2FRC.

Это экспериментальный чекпойнт компактной языковой модели Qwen2.5-1.5B-Instruct, подготовленный автором репозитория huggingFacing как вариант серии экспериментов по дистилляции знаний из Qwen2.5-7B-Instruct в модель на 1,5 млрд параметров. Вариант lift_v12_top_only использует gap gate и веса влияния двух верхних слоёв на уровне шагов; обучение проводилось методом on-policy GKD на английском наборе Paper100K, 1500 шагов с глобальным размером пакета 64 и генерацией до 128 токенов за пример. Модель предназначена для диалогов и генерации текста, включая структурированные ответы и интерфейс вызова инструментов, унаследованный от базовой instruct-модели. Архитектура — плотная Qwen2 causal language model, контекст — до 32768 токенов; веса представлены в SafeTensors и доступны по лицензии Apache-2.0. Карточка описывает абляционный вариант дистилляции, поэтому его качество следует оценивать отдельно от полного метода и исходной модели.

Qwen2.5-Coder-0.5B-Instruct-MLX-8bit — компактная инструкционная языковая модель для работы с кодом, разработанная командой Qwen. Эта версия представляет собой 8-битную MLX-квантизацию базовой модели Qwen2.5-Coder-0.5B-Instruct, подготовленную bartowski на основе инструментов mlx-examples. Модель предназначена для запуска на компьютерах Mac с Apple Silicon и интеграции в локальные приложения, включая code agents. Модель ориентирована на генерацию и обработку программного кода, диалоговые сценарии и задачи, требующие связи между естественным языком и исходным кодом. Заявлена поддержка контекста до 32 тысяч токенов. При обучении использовалось до 5,5 триллиона токенов, включая исходный код, пары «текст—код» и синтетические данные. В карточке указана поддержка английского языка. Небольшой размер около 0,5 миллиарда параметров и 8-битная квантизация делают модель подходящей для локального запуска с ограниченными ресурсами, однако по сравнению с более крупными моделями она может уступать в сложности рассуждений, качестве кода и устойчивости к неоднозначным запросам. Как и другие модели этого класса, она может генерировать неточные или неподходящие ответы, поэтому результаты требуют проверки. Лицензия — Apache 2.0.

alphaduriendur/Qwen2.5-Coder-1.5B-Instruct-Q4_K_M-GGUF — это квантизированная версия Qwen2.5-Coder-1.5B-Instruct, преобразованная в формат GGUF с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и работы с программным кодом в инструкционном и чат-сценариях, включая локальный запуск через llama.cpp. Модель имеет размер 1,5 млрд параметров и использует квантизацию Q4_K_M, что снижает требования к памяти и делает её подходящей для запуска на локальных устройствах. В карточке указана поддержка английского языка и текстовая модальность. Для запуска доступны llama-cli и llama-server; в примере конфигурации сервера используется контекст размером 2048 токенов, однако максимальный размер контекста в карточке отдельно не указан. К сильным сторонам относятся компактность, совместимость с экосистемой llama.cpp и удобство локального инференса. Ограничениями являются небольшой размер модели по современным меркам и возможная потеря качества из-за квантизации; подробные результаты оценки, перечень поддерживаемых языков и характеристики исходной модели в этой карточке не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3-1.7B-Base — базовая причинно-следственная языковая модель семейства Qwen3, разработанная командой Qwen. Это плотная модель с 1,7 млрд параметров и 28 слоями, предварительно обученная для продолжения текста и построения собственных решений на её основе. Архитектура использует grouped-query attention с 16 головами запросов и 8 головами ключей и значений; контекстное окно составляет 32 768 токенов. Модель предназначена для генерации текста и дальнейшей адаптации под диалоговые и другие языковые сценарии. Обучение Qwen3 охватывало данные на 119 языках и включало код, STEM, рассуждения и длинные последовательности, однако карточка не уточняет языковое покрытие именно версии 1.7B-Base. Для работы рекомендуется актуальная версия библиотеки Transformers. Модель распространяется по лицензии Apache 2.0.

make1love/Qwen3-1.7B-base-MED-ChatVector — языковая модель семейства Qwen3 для генерации текста и диалогового взаимодействия. Модель доступна через библиотеку Transformers и использует формат Safetensors; заявленный размер составляет 1,7 млрд параметров, а нативное контекстное окно — 40 960 токенов. Поддерживается конвейер Hugging Face text-generation и conversational-режим. По доступным данным, разработчик, лицензия и перечень естественных языков не установлены. Модель может применяться для генерации ответов, продолжения текста и создания диалоговых приложений, однако назначение, обучение и качество в медицинской или иной специализированной области не подтверждены карточкой модели.