Triển khai model AI phục vụ người dùng

curl -fsSL https://ollama.com/install.sh | sh
ollama -v

docker run -d --gpus=all -v ollama:/root/.ollama -p 127.0.0.1:11434:11434 --name ollama ollama/ollama

Mã nguồn: github.com/ollama/ollama (mở tab mới) · Giấy phép MIT

uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto

vllm serve Qwen/Qwen2.5-7B-Instruct --host 127.0.0.1 --port 8000 --api-key "$VLLM_API_KEY"

curl http://localhost:8000/v1/models -H "Authorization: Bearer $VLLM_API_KEY"

docker run --runtime nvidia --gpus all \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=$HF_TOKEN" \
    -p 127.0.0.1:8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model Qwen/Qwen2.5-7B-Instruct

Mã nguồn: github.com/vllm-project/vllm (mở tab mới) · Giấy phép Apache-2.0

cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release

./build/bin/llama-server -m /srv/models/model.gguf --host 127.0.0.1 --port 8080 --api-key "$LLAMA_API_KEY"

Mã nguồn: github.com/ggml-org/llama.cpp (mở tab mới) · Giấy phép MIT

model=Qwen/Qwen2.5-7B-Instruct
volume=$PWD/data

docker run --gpus all --shm-size 1g -p 127.0.0.1:8080:80 -v $volume:/data \
    ghcr.io/huggingface/text-generation-inference:3.3.5 \
    --model-id $model

Mã nguồn: github.com/huggingface/text-generation-inference (mở tab mới) · Giấy phép Apache-2.0

1. Không mở cổng trần ra internet

   Để máy chủ model nghe ở 127.0.0.1 (mặc định của Ollama, llama-server). Với Docker, luôn publish dạng 127.0.0.1:cổng:cổng — tài liệu Docker cảnh báo publish cổng không kèm địa chỉ là mở ra bên ngoài, và ufw không chặn được cổng do Docker publish.

2. Đặt reverse proxy phía trước

   Reverse proxy (ví dụ nginx) là cửa ngõ duy nhất nhận kết nối từ ngoài: bật HTTPS, kiểm tra xác thực, giới hạn truy cập, rồi mới chuyển yêu cầu vào model ở 127.0.0.1.

3. Bắt buộc xác thực

   Bật API key của công cụ (vLLM --api-key, llama-server --api-key) VÀ xác thực ở reverse proxy. Tài liệu vLLM nói rõ --api-key không bảo vệ mọi đường dẫn.

4. Tường lửa tối thiểu

   Chỉ mở cổng HTTPS của reverse proxy. Các cổng nội bộ giữa các máy (ví dụ khi chia model ra nhiều node) chỉ cho phép từ mạng tin cậy — khuyến nghị trong tài liệu bảo mật vLLM.

5. Giữ bí mật ngoài mã nguồn

   API key, HF_TOKEN đặt qua biến môi trường hoặc trình quản lý bí mật, không ghi thẳng vào file cấu hình đưa lên Git.

# /etc/nginx/conf.d/llm.conf — ví dụ tối thiểu, cần bổ sung HTTPS
server {
    listen 80;
    server_name llm.example.vn;

    location / {
        auth_basic           "LLM API";
        auth_basic_user_file /etc/nginx/.htpasswd;
        proxy_pass           http://127.0.0.1:8000;
    }
}

• Chỉ số của máy chủ model

  vLLM xuất số liệu dạng Prometheus tại đường dẫn /metrics trên cùng máy chủ HTTP — thu thập bằng hệ thống giám sát nội bộ, không công khai đường dẫn này.

• Chỉ số GPU

  nvidia-smi và nvidia-smi dmon để xem nhanh. Muốn đưa số liệu GPU vào Prometheus/Grafana, NVIDIA có DCGM Exporter.

• Nhật ký và cảnh báo

  Ghi log truy cập ở reverse proxy để biết ai gọi, gọi bao nhiêu; đặt cảnh báo khi GPU đầy bộ nhớ hoặc máy chủ model ngừng phản hồi.