2026.03.13

システム開発

LoRAでファインチューニングしたモデルをGGUF化し、RAGで回答を切り替えるシステムを実装しました

先に用語を整理します

この分野は言葉が混同されやすいので、先に整理しておきます。とくに GGUF は「学習させるための形式」ではありません。推論用にモデルを格納するファイル形式です。

用語	意味
LoRA	モデルの一部パラメータだけを追加学習する手法
ファインチューニング	モデルの重みを目的に合わせて調整すること
RAG	外部文書を検索し、回答時にプロンプトへ渡して参照させる仕組み。モデルの重みは更新しない
GGUF	主に llama.cpp 系で使う、推論用モデルの格納フォーマット
量子化	精度を下げてメモリ使用量と計算量を削減すること

実際の流れは FP16 / BF16 などの元モデルに LoRA で追加学習 → マージ → GGUF へ変換・量子化 です。GGUFファイルそのものを学習させるわけではありません。

:root { –primary: #1a1a2e; –secondary: #16213e; –accent: #0f3460; –highlight: #e94560; –text: #eee; –text-muted: #aab; –bg: #0f0f1a; –card-bg: #1a1a2e; –border: #2a2a4a; –gradient-1: #667eea; –gradient-2: #764ba2; } .rag-guide * { margin: 0; padding: 0; box-sizing: border-box; } .rag-guide { font-family: ‘Segoe UI’, ‘Hiragino Sans’, ‘Noto Sans JP’, sans-serif; background: var(–bg); color: var(–text); line-height: 1.8; } .rag-guide .container { max-width: 1100px; margin: 0 auto; padding: 0 24px; } /* Hero */ .rag-guide .hero { text-align: center; padding: 80px 24px 60px; background: linear-gradient(135deg, var(–primary), var(–accent)); border-bottom: 2px solid var(–border); } .rag-guide .hero h1 { font-size: 2.4rem; background: linear-gradient(135deg, var(–gradient-1), var(–gradient-2)); -webkit-background-clip: text; -webkit-text-fill-color: transparent; margin-bottom: 16px; } .rag-guide .hero p { color: var(–text-muted); font-size: 1.1rem; max-width: 700px; margin: 0 auto; } /* Section */ .rag-guide section { padding: 60px 0; border-bottom: 1px solid var(–border); } .rag-guide section:last-child { border-bottom: none; } .rag-guide h2 { font-size: 1.8rem; margin-bottom: 24px; color: var(–gradient-1); display: flex; align-items: center; gap: 12px; } .rag-guide h2 .num { display: inline-flex; align-items: center; justify-content: center; width: 40px; height: 40px; border-radius: 50%; background: linear-gradient(135deg, var(–gradient-1), var(–gradient-2)); color: #fff; font-size: 1.1rem; flex-shrink: 0; } .rag-guide h3 { font-size: 1.3rem; margin: 32px 0 16px; color: #ccd; } .rag-guide p, .rag-guide li { color: var(–text-muted); margin-bottom: 12px; } .rag-guide ul, .rag-guide ol { padding-left: 24px; margin-bottom: 20px; } .rag-guide li { margin-bottom: 8px; } /* SVG Container */ .rag-guide .diagram { background: var(–card-bg); border: 1px solid var(–border); border-radius: 12px; padding: 24px; margin: 32px 0; overflow-x: auto; } .rag-guide .diagram svg { display: block; margin: 0 auto; } /* Card */ .rag-guide .card { background: var(–card-bg); border: 1px solid var(–border); border-radius: 12px; padding: 24px; margin: 20px 0; } /* Tech stack badges */ .rag-guide .tech-stack { display: flex; flex-wrap: wrap; gap: 12px; margin: 20px 0; } .rag-guide .badge { display: inline-flex; align-items: center; gap: 8px; padding: 8px 16px; border-radius: 8px; background: var(–secondary); border: 1px solid var(–border); font-size: 0.9rem; color: var(–text); } .rag-guide .badge .dot { width: 10px; height: 10px; border-radius: 50%; } /* Code block */ .rag-guide .code-block { background: #0d0d18; border: 1px solid var(–border); border-radius: 8px; padding: 20px; margin: 16px 0; font-family: ‘Fira Code’, ‘SF Mono’, monospace; font-size: 0.85rem; color: #a8d8a8; overflow-x: auto; white-space: pre; line-height: 1.6; } /* Table */ .rag-guide table { width: 100%; border-collapse: collapse; margin: 20px 0; } .rag-guide th, .rag-guide td { padding: 12px 16px; text-align: left; border: 1px solid var(–border); color: var(–text-muted); } .rag-guide th { background: var(–secondary); color: var(–text); font-weight: 600; } .rag-guide tr:hover { background: rgba(102, 126, 234, 0.05); } .rag-guide .note { background: rgba(102, 126, 234, 0.1); border-left: 4px solid var(–gradient-1); padding: 16px 20px; border-radius: 0 8px 8px 0; margin: 20px 0; } .rag-guide .note strong { color: var(–gradient-1); } .rag-guide .warning { background: rgba(233, 69, 96, 0.1); border-left: 4px solid var(–highlight); padding: 16px 20px; border-radius: 0 8px 8px 0; margin: 20px 0; } .rag-guide .warning strong { color: var(–highlight); } .rag-guide a { color: var(–gradient-1); text-decoration: none; } .rag-guide a:hover { text-decoration: underline; } /* Footer */ .rag-guide footer { text-align: center; padding: 40px 24px; color: var(–text-muted); font-size: 0.85rem; border-top: 1px solid var(–border); } /* ==================== Responsive ==================== */ /* Tablet */ @media (max-width: 768px) { .rag-guide .hero { padding: 60px 16px 40px; } .rag-guide .hero h1 { font-size: 1.8rem; } .rag-guide .hero p { font-size: 1rem; } .rag-guide .hero p br { display: none; } .rag-guide .container { padding: 0 16px; } .rag-guide section { padding: 40px 0; } .rag-guide h2 { font-size: 1.4rem; } .rag-guide h3 { font-size: 1.1rem; margin: 24px 0 12px; } .rag-guide .diagram { padding: 16px; margin: 20px 0; } .rag-guide .diagram svg { min-width: 600px; } .rag-guide table { display: block; overflow-x: auto; -webkit-overflow-scrolling: touch; } .rag-guide th, .rag-guide td { padding: 10px 12px; font-size: 0.85rem; white-space: nowrap; } .rag-guide .code-block { padding: 16px; font-size: 0.78rem; } .rag-guide .card { padding: 16px; } .rag-guide .tech-stack { gap: 8px; } .rag-guide .badge { padding: 6px 12px; font-size: 0.8rem; } } /* Mobile */ @media (max-width: 480px) { .rag-guide .hero { padding: 40px 12px 30px; } .rag-guide .hero h1 { font-size: 1.4rem; } .rag-guide .hero p { font-size: 0.9rem; } .rag-guide .container { padding: 0 12px; } .rag-guide section { padding: 30px 0; } .rag-guide h2 { font-size: 1.2rem; gap: 8px; } .rag-guide h2 .num { width: 32px; height: 32px; font-size: 0.9rem; } .rag-guide h3 { font-size: 1rem; margin: 20px 0 10px; } .rag-guide .diagram { padding: 12px; margin: 16px 0; border-radius: 8px; } .rag-guide .card { padding: 14px; border-radius: 8px; } .rag-guide .code-block { padding: 12px; font-size: 0.75rem; border-radius: 6px; } .rag-guide .note, .rag-guide .warning { padding: 12px 14px; font-size: 0.9rem; } .rag-guide .tech-stack { gap: 6px; } .rag-guide .badge { padding: 5px 10px; font-size: 0.75rem; } .rag-guide footer { padding: 30px 12px; font-size: 0.8rem; } }

RAGシステム構築完全ガイド

H2O LLM Studio でファインチューニングしたモデルを Ollama + Open WebUI で動かし、
独自ナレッジベースによる RAG を実現するまでの全工程

全体アーキテクチャ

本システムは大きく4つのレイヤーで構成されています。ユーザーからの質問が各コンポーネントを経由し、ナレッジベースの情報を加味した回答を生成するまでの全体像を示します。

UI Layer API / Orchestration Layer Inference Layer Data / Storage Layer Open WebUI RAG Pipeline (Embedding + Retrieval) Chat API (Prompt Construction) Document Parser (Tika / Docling) Ollama (Model Serving) llama.cpp (GGUF Inference Engine) Qdrant (Vector Database) GGUF Model Files (Fine-tuned Weights) Knowledge Files (PDF, DOCX, etc.) H2O LLM Studio (Fine-tuning)

Open WebUI Ollama llama.cpp H2O LLM Studio Qdrant Tika Docling

1H2O LLM Studioでモデルをファインチューニング

H2O LLM Studioは、コードを一行も書かずにLLMをファインチューニングできるGUIツールです。社内データやドメイン固有のデータを使い、ベースモデルを自社用途に特化させます。

1-1. Datasetの準備とアップロード

H2O LLM Studioが期待するデータセット形式は、CSV/TSVで以下のカラムを含む構成です：

カラム名	説明	例
`instruction`	モデルへの指示（システムプロンプト的役割）	「以下の質問に日本語で答えてください」
`input`	ユーザーの入力・質問	「RAGとは何ですか？」
`output`	期待される応答	「RAGは Retrieval-Augmented Generation の略で…」

Tips: データセットの品質がファインチューニングの結果を大きく左右します。ノイズの少ない、一貫性のあるデータを準備しましょう。最低でも数百件のペアを用意することを推奨します。

1-2. Experimentの作成と設定

データセットをアップロードしたら、次にExperiment（訓練実験）を作成します。ここが最も設定項目が多く、理解が必要なステップです。

Experiment Settings Dataset Settings Train Dataframe: train.csv Prompt Column: instruction Answer Column: output Text Prompt Start: <|user|> Text Answer Start: <|assistant|> LLM Backbone Base Model: meta-llama/… Max Length: 2048 LoRA: Enabled LoRA r: 8 LoRA alpha: 16 Training Parameters Learning Rate: 1e-4 Batch Size: 4 Epochs: 3 Gradient Accumulation: 4 Warmup Ratio: 0.03 Augmentation Token Masking Prob: 0.0 Skip Parent Prob: 0.0 Neftune Noise Alpha: 0.0 * 初回はデフォルト推奨 Prediction Temperature: 0.3 Top K: 0 Top P: 0.9 Repetition Penalty: 1.2 Max Length Generation: 512 Environment Mixed Precision: bf16 GPUs: [0] Seed: 42 Compile Model: false Logging: W&B / None

主要な設定項目の解説

カテゴリ	設定項目	説明
Dataset	Prompt Column	入力（質問）が含まれるカラム名を指定
Dataset	Answer Column	出力（回答）が含まれるカラム名を指定
LLM Backbone	Base Model	ファインチューニングのベースとなるモデル（Llama, Mistral等）
	LoRA	メモリ効率の良い学習手法。フル学習よりGPUメモリが少なくて済む
	Max Length	入力トークンの最大長。長いほどメモリを消費
Training	Learning Rate	学習率。大きすぎると発散、小さすぎると収束しない
	Epochs	データセット全体を何回繰り返し学習するか
	Batch Size	一度に処理するサンプル数。GPUメモリに依存

注意: LoRAのrank（r）値を大きくするとモデルの表現力は上がりますが、過学習のリスクも高まります。まずは r=8, alpha=16 から始めて、結果を見ながら調整しましょう。

1-3. 訓練の実行とモデルのエクスポート

Experimentを開始すると、H2O LLM Studioがトレーニングを自動的に実行します。完了後、モデルをエクスポートします。

Training GPU上で学習実行 Validation Loss/Metric確認 Export HF/GGUF形式 GGUF変換 (llama.cpp) 量子化: Q4_K_M / Q5_K_M

# H2OからエクスポートしたモデルをGGUF形式に変換
python llama.cpp/convert_hf_to_gguf.py 
  –model ./h2o_exported_model 
  –outfile ./model.gguf

# 量子化（モデルサイズを削減）
./llama.cpp/llama-quantize ./model.gguf ./model-Q4_K_M.gguf Q4_K_M

2Ollamaにモデルを登録する

GGUFファイルをOllamaに登録し、APIサーバーとして利用可能にします。「モデル工場」でH2Oのexperimentを選択し、Ollamaモデル名を入力するステップです。

model-Q4_K_M.gguf Fine-tuned & Quantized Modelfile FROM ./model-Q4_K_M.gguf PARAMETER temperature 0.3 PARAMETER top_p 0.9 SYSTEM “””あなたは親切な AIアシスタントです。””” Ollama ollama create mymodel ollama run mymodel ここで指定するモデル名「mymodel」がOpen WebUIのチャット画面で選択するモデル名になる

# 1. Modelfile を作成
cat << ‘EOF’ > Modelfile
FROM ./model-Q4_K_M.gguf

PARAMETER temperature 0.3
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.2

SYSTEM “””あなたは社内ナレッジに精通したAIアシスタントです。
正確で簡潔な回答を心がけてください。”””
EOF

# 2. Ollama にモデルを登録
ollama create my-company-model -f Modelfile

# 3. テスト実行
ollama run my-company-model “こんにちは、テストです”

# 4. API として利用可能に（デフォルト: localhost:11434）
curl http://localhost:11434/api/chat -d ‘{
  “model”: “my-company-model”,
  “messages”: [{“role”: “user”, “content”: “テスト”}]
}’

Tips: Ollamaはバックグラウンドでllama.cppを使用してモデルの推論を行います。GGUFフォーマットを直接読み込むため、追加の変換は不要です。

3ドキュメント処理パイプライン（Tika / Docling）

RAGで利用するナレッジベースのドキュメントを、LLMが理解できるテキスト形式に変換します。PDF、Word、Excel、PowerPointなど多様な形式に対応するため、TikaとDoclingを活用します。

入力ドキュメント PDF DOCX / DOC XLSX / CSV PPTX HTML / TXT 画像 (OCR) Apache Tika 1000+のファイル形式に対応メタデータ抽出も可能 Java/REST API Docling PDF特化の高精度パーサーテーブル構造を保持 Python API Chunking テキスト分割 chunk_size: 500 overlap: 50 Embedding ベクトル化 Qdrant Vector Store

Tika vs Docling の使い分け

特徴	Apache Tika	Docling
対応形式	1000+形式（汎用的）	PDF中心（高精度）
テーブル抽出	基本的なサポート	構造を保持した高精度抽出
OCR	Tesseract連携	内蔵OCRエンジン
レイアウト認識	限定的	高精度なレイアウト解析
実装言語	Java (REST API提供)	Python
推奨ユースケース	多様なファイル形式を一括処理	PDFの高精度テキスト抽出

# — Tika: REST APIでドキュメントをテキスト抽出 —
# Tikaサーバー起動
docker run -p 9998:9998 apache/tika

# テキスト抽出
curl -T document.pdf http://localhost:9998/tika –header “Accept: text/plain”

# — Docling: PDFの高精度パース —
pip install docling

# Python での利用例
from docling.document_converter import DocumentConverter

converter = DocumentConverter()
result = converter.convert(“document.pdf”)
print(result.document.export_to_markdown())

4Qdrant ベクトルデータベース

ドキュメントから抽出・分割されたテキストチャンクをベクトル化して保存し、類似検索を可能にするのがQdrantの役割です。RAGの「Retrieval」部分の中核を担います。

RAG検索フロー User Query 「手順を教えて」 Embedding Model テキスト → ベクトル Query Vector [0.12, -0.45, …] Qdrant Collection: knowledge_base doc_1: [0.11, -0.43, …] doc_2: [0.08, -0.51, …] doc_3: [-0.22, 0.67, …] cosine similarity 検索検索結果 (Top-K) Score: 0.95 – 「手順は以下の通り…」 Score: 0.87 – 「まず最初に…」 Context + Query → LLMに送信

# Qdrant サーバー起動
docker run -p 6333:6333 -p 6334:6334 qdrant/qdrant

# Python でコレクション作成 & ドキュメント登録
from qdrant_client import QdrantClient
from qdrant_client.models import Distance, VectorParams, PointStruct

client = QdrantClient(host=”localhost”, port=6333)

# コレクション作成（ベクトル次元はEmbeddingモデルに依存）
client.create_collection(
    collection_name=”knowledge_base”,
    vectors_config=VectorParams(size=768, distance=Distance.COSINE)
)

# ドキュメントチャンクをベクトル化して登録
client.upsert(
    collection_name=”knowledge_base”,
    points=[
        PointStruct(id=1, vector=embedding_vector, payload={“text”: “chunk text…”}),
        # …
    ]
)

# 類似検索
results = client.search(
    collection_name=”knowledge_base”,
    query_vector=query_embedding,
    limit=5
)

5Open WebUI でRAGチャットを構築

すべてのコンポーネントを統合するフロントエンドがOpen WebUIです。ナレッジベースの作成、ファイルのアップロード、モデルの設定をGUIで行えます。

5-1. ナレッジベースの作成

Open WebUI セットアップフロー 1 ナレッジベース作成ワークスペース → ナレッジベース → New Knowledge 名前と説明を入力 2 ファイルアップロードナレッジベース編集画面で RAGファイルをアップロード PDF, DOCX, TXT, CSV… 3 モデル設定ワークスペース → モデル → New Model Ollamaモデル名を指定ナレッジベースを紐付けチャット実行時の処理フロー User Message Embedding Qdrant Context構築 LLM (Ollama) 検索結果 + ユーザーの質問 → プロンプトに結合 → モデルが回答生成

5-2. Open WebUI のセットアップ手順

# Open WebUI をDocker で起動（Ollama と連携）
docker run -d -p 3000:8080 
  –add-host=host.docker.internal:host-gateway 
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 
  -e RAG_EMBEDDING_MODEL=sentence-transformers/all-MiniLM-L6-v2 
  -e VECTOR_DB=qdrant 
  -e QDRANT_URI=http://host.docker.internal:6333 
  -v open-webui:/app/backend/data 
  –name open-webui 
  –restart always 
  ghcr.io/open-webui/open-webui:main

設定手順まとめ

ナレッジベース作成: 管理画面 → ワークスペース → ナレッジベース → 「New Knowledge」をクリック。名前と説明を入力して作成。
ファイルアップロード: 作成したナレッジベースの編集画面を開き、RAGに使いたいドキュメント（PDF, DOCX等）をドラッグ&ドロップまたはファイル選択でアップロード。自動的にチャンク分割・ベクトル化される。
モデル作成: ワークスペース → モデル → 「New Model」。Ollamaで登録したモデル名を指定し、先ほど作成したナレッジベースを紐付ける。
チャット開始: チャット画面でモデルを選択して質問すると、自動的にRAG検索が行われ、関連ドキュメントの情報を加味した回答が生成される。

6全体データフロー

最後に、ユーザーが質問を入力してから回答が生成されるまでの全体的なデータの流れを確認しましょう。

End-to-End データフロー 👤 ユーザー 1 Open WebUI 質問受付 2 Embedding 3 Qdrant 類似ベクトル検索 4 Context Builder 検索結果+質問を結合 5 Ollama + llama.cpp Fine-tunedモデルで推論 6 生成されるプロンプト [System] あなたはAIアシスタントです。以下の参考情報を元に回答してください。 [Retrieved Context] 手順は以下の通りです… まず最初に… [User Question] 手順を教えてくださいフロー凡例 1 ユーザーが質問を入力 2 質問をベクトル化 3 Qdrantで類似検索 4 関連チャンクを取得 5 コンテキスト付きでLLMに送信

7技術スタック一覧

技術	役割	公式ドキュメント
H2O LLM Studio	GUIベースのLLMファインチューニングツール。コード不要でLoRA等の学習が可能	docs.h2o.ai
llama.cpp	C++実装の高速LLM推論エンジン。GGUF形式のモデルを効率的に実行。量子化もサポート	GitHub
Ollama	LLMのローカル実行環境。llama.cppをラップし、REST APIを提供。モデル管理を簡素化	docs.ollama.com
Open WebUI	チャット型WebインターフェースRAG機能内蔵。ナレッジベース管理、モデル切替をGUIで提供	docs.openwebui.com
Apache Tika	汎用ドキュメントパーサー。1000+のファイル形式からテキスト・メタデータを抽出	tika.apache.org
Docling	PDF特化の高精度ドキュメントパーサー。テーブル構造やレイアウトを保持した抽出が可能	docling-project.github.io
Qdrant	高性能ベクトルデータベース。コサイン類似度等による高速な近似最近傍検索を提供	qdrant.tech

Yamamoto Yuya

プロフェッショナルとしての高いスキルと知識を持ち、誠実さと責任感を大切にする。常に向上心を持ち、新たな挑戦にも積極的に取り組む努力家。