интерактивная песочница · 9B reasoning

DeepSeek-V4-Pro → Qwen3.5-9B
UNCENSORED · heretic

9B-модель рассуждений, дистиллированная из DeepSeek-V4-Pro (Max Effect) в Qwen3.5-9B на ~250 тыс. задач по математике и STEM, затем расцензуренная через Heretic v2.0.0: доля отказов падает со 100/100 до 3/100, а GSM8K остаётся на 94.5%, MMLU-Pro — на 90.53%.

🧠 9.65B параметров 📐 250K примеров math & STEM 🏆 GSM8K 94.50% 📊 MMLU-Pro 90.53% 🖼️ понимает изображения ⚡ 4-bit NF4 · ZeroGPU
Карточка модели ↗ Бенчмарки
⚠️
Неотфильтрованный исследовательский чекпоинт. Механизм отказов намеренно удалён, поэтому модель может выдавать небезопасный, предвзятый или просто неверный контент. Здесь ничего не модерируется. Проверяйте всё важное вручную и не считайте модель истиной в последней инстанции.

Песочница

Чат со стримингом и отдельным блоком рассуждений · любой OpenAI-совместимый эндпоинт

🔌
Подключите свой эндпоинт. Страница статическая, поэтому обращается напрямую к OpenAI-совместимому серверу, который вы контролируете: llama.cpp (http://localhost:8000/v1 — уже настроено ниже), Ollama (http://localhost:11434/v1), vLLM или LM Studio. Впишите адрес и нажмите «Подключиться». Хостинг на ZeroGPU ждёт одобрения community-гранта.
💬 Чат
офлайн
DS
DeepSeek-V4-Pro · 9B

Готов, как только подключите эндпоинт. Попробуйте один из пресетов справа, например:

«Брусок 2 кг скользит с нулевой начальной скоростью по наклонной плоскости 30° без трения. Найдите скорость через 3 м.»

Укажите base URL, нажмите Подключиться и отправьте сообщение. Цепочка рассуждений будет стримиться в сворачиваемый блок над ответом.

Enter — отправить · Shift+Enter — новая строка

Бенчмарки

Цифры из карточки модели — здесь они не перемерялись

Точность GSM8K

Школьная математика · среднее по 4 прогонам, NVFP4 + vLLM

Среднее MMLU-Pro

Math + Physics + Chemistry · по 500 вопросов на раздел

Эффективность инференса

Та же выборка из 1 500 вопросов · MTP-Q8_0 GGUF · контекст 8K

Точность
90.53%
+0.93 к Qwen3.5-9B
Токенов на вопрос
2 858
−36.1% к Qwen
Токенов на верный ответ
3 157
лучший результат
Верных на 1M токенов
316.8
+56.4% к Qwen

Запустить у себя

Полные веса или GGUF ~5.7 ГБ для CPU

llama.cpp — GGUF, CUDA на Windows

Готовые бинарники под CUDA 12.4 + cublas64_12.dll/cublasLt64_12.dll. Endpoint: http://localhost:8000/v1.

llama-server -hf mradermacher/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-GGUF:Q4_K_M \
  -c 8192 -ngl 99 --port 8000 --jinja \
  -a DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic

Ollama — проще всего (macOS/Linux)

Ставится одним установщиком, сам подхватывает CUDA. Endpoint: http://localhost:11434/v1.

ollama run hf.co/mradermacher/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-GGUF:Q4_K_M

vLLM — OpenAI-совместимый сервер

Поднимает полный BF16-чекпоинт и отдаёт /v1 на порту 8000.

pip install vllm
vllm serve xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic \
  --max-model-len 8192

transformers — 4-bit, как в этом Space

То, что использует Gradio-сборка: веса NF4, вычисления bf16, внимание SDPA.

from transformers import AutoProcessor, AutoModelForMultimodalLM
from transformers import BitsAndBytesConfig

bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4")
processor = AutoProcessor.from_pretrained(MODEL)
model = AutoModelForMultimodalLM.from_pretrained(
    MODEL, quantization_config=bnb, device_map="cuda",
    dtype=torch.bfloat16, attn_implementation="sdpa")

Gradio-демо (ZeroGPU)

app.py в этом репозитории — полное приложение: стриминг, панель рассуждений, ввод изображений, MCP-сервер.

python app.py
# либо откройте живой Space, когда одобрят
# community-грант на GPU