日本語AIチャットボットを月額1,000円以下で自前運用する方法【2026年版】LFM2.5-1.2B-JP × llama.cpp × DockerによるRAG構築ガイド

# Ubuntu 24.04 LTS を選択して VPS を立ち上げる
# SSH 接続後、まず Docker をインストール
curl -fsSL https://get.docker.com | sh
sudo usermod -aG docker $USER
# 再ログイン後に確認
docker --version

mkdir -p ~/rag-server/models
cd ~/rag-server/models

# Hugging Face CLI でダウンロード（pip install huggingface_hub）
pip install huggingface_hub
python3 -c "
from huggingface_hub import hf_hub_download
hf_hub_download(
    repo_id='LiquidAI/LFM2.5-1.2B-JP-GGUF',
    filename='LFM2.5-1.2B-JP-Q4_K_M.gguf',
    local_dir='.'
)
"
# ダウンロード後の確認（約 731 MB）
ls -lh LFM2.5-1.2B-JP-Q4_K_M.gguf

services:
  # LLM 推論エンジン（llama-cpp-python の OpenAI 互換サーバー）
  llm:
    image: ghcr.io/abetlen/llama-cpp-python:latest
    ports:
      - "8001:8000"
    volumes:
      - ./models:/models
    environment:
      MODEL: /models/LFM2.5-1.2B-JP-Q4_K_M.gguf
      HOST: 0.0.0.0
      PORT: 8000
      N_THREADS: 4          # VPS の物理コア数に合わせる
      N_CTX: 4096           # コンテキスト長（RAG には 4096 で十分）
      CHAT_FORMAT: chatml   # LFM2.5 は ChatML フォーマット
    restart: unless-stopped

  # ベクトルデータベース
  qdrant:
    image: qdrant/qdrant:latest
    ports:
      - "6333:6333"
    volumes:
      - ./qdrant_data:/qdrant/storage
    restart: unless-stopped

  # RAG API サーバー（FastAPI）
  api:
    build: ./api
    ports:
      - "8000:8000"
    depends_on:
      - llm
      - qdrant
    environment:
      LLM_URL: http://llm:8000/v1
      QDRANT_URL: http://qdrant:6333
    restart: unless-stopped

from sentence_transformers import SentenceTransformer
from qdrant_client import QdrantClient
from qdrant_client.models import Distance, VectorParams, PointStruct
import uuid

# 軽量日本語 Embedding モデル（CPU でミリ秒単位で動く）
EMBED_MODEL = SentenceTransformer("intfloat/multilingual-e5-small")
COLLECTION = "documents"

def init_collection(client: QdrantClient):
    """コレクションが存在しなければ作成する"""
    if COLLECTION not in [c.name for c in client.get_collections().collections]:
        client.create_collection(
            collection_name=COLLECTION,
            vectors_config=VectorParams(size=384, distance=Distance.COSINE),
        )

def add_documents(client: QdrantClient, texts: list[str]):
    """テキストをベクトル化して Qdrant に登録する"""
    vectors = EMBED_MODEL.encode(
).tolist() points = [ PointStruct(id=str(uuid.uuid4()), vector=v, payload={"text": t}) for v, t in zip(vectors, texts) ] client.upsert(collection_name=COLLECTION, points=points) def search(client: QdrantClient, query: str, top_k: int = 3) -> list[str]: """クエリに関連するチャンクを検索して返す""" vector = EMBED_MODEL.encode(f"query: {query}").tolist() results = client.search( collection_name=COLLECTION, query_vector=vector, limit=top_k, ) return [r.payload["text"] for r in results]

from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from pydantic import BaseModel
from openai import AsyncOpenAI
from qdrant_client import QdrantClient
import os
from rag import init_collection, search, add_documents

app = FastAPI()
llm = AsyncOpenAI(base_url=os.getenv("LLM_URL"), api_key="no-key")
qdrant = QdrantClient(url=os.getenv("QDRANT_URL"))
init_collection(qdrant)

class ChatRequest(BaseModel):
    message: str

class IngestRequest(BaseModel):
    texts: list[str]

@app.post("/ingest")
async def ingest(req: IngestRequest):
    """ドキュメントをベクトル DB に登録する"""
    add_documents(qdrant, req.texts)
    return {"status": "ok", "count": len(req.texts)}

@app.post("/chat")
async def chat(req: ChatRequest):
    """RAG を用いてストリーミングで回答する"""
    # 1. 関連ドキュメントを検索
    contexts = search(qdrant, req.message)
    context_text = "\n\n".join(contexts)

    # 2. プロンプトを構築
    system_prompt = f"""あなたは親切な日本語アシスタントです。
以下の参考情報をもとに、質問に正確に答えてください。
参考情報に答えが見つからない場合は「わかりません」と答えてください。

【参考情報】
{context_text}"""

    # 3. LLM にストリーミングリクエスト
    async def generate():
        stream = await llm.chat.completions.create(
            model="local-model",
            messages=[
                {"role": "system", "content": system_prompt},
                {"role": "user", "content": req.message},
            ],
            stream=True,
            temperature=0.1,
            max_tokens=512,
        )
        async for chunk in stream:
            delta = chunk.choices[0].delta.content
            if delta:
                yield delta

    return StreamingResponse(generate(), media_type="text/plain")

cd ~/rag-server
docker compose up -d

# ログで LLM が正常にロードされたか確認
docker compose logs -f llm

# ドキュメントを登録
curl -X POST http://localhost:8000/ingest \
  -H "Content-Type: application/json" \
  -d '{"texts": ["弊社の返品期限は購入から30日以内です。", "返品には領収書が必要です。"]}'

# チャットで動作確認
curl -X POST http://localhost:8000/chat \
  -H "Content-Type: application/json" \
  -d '{"message": "返品はいつまでできますか？"}'