Carga modelos de HuggingFace sin descargarlos
hf-mount monta repositorios de HuggingFace como sistemas de archivos locales. Los archivos se leen bajo demanda — no se descarga todo el modelo, solo lo que necesitas. Funciona via FUSE o NFS, con carga lazy de archivos.
curl -fsSL https://raw.githubusercontent.com/huggingface/hf-mount/main/install.sh | sh
hf-mount start repo openai-community/gpt2 /tmp/gpt2
(Usa --hf-token $HF_TOKEN para modelos privados)
from transformers import AutoModelForCausalLM
# Carga desde path montado - NO descarga
model = AutoModelForCausalLM.from_pretrained("/tmp/gpt2")
pip install flask transformers torch
python api_server.py
Luego abre http://localhost:5000
README.md — Guía completaapi_server.py — Servidor API con chat UIsetup.sh — Script automático de setupworker.js — Proxy para Cloudflare (alternativo)