相談事例 /
ai-rescue
OpenAI APIの月額費用が想定の8倍に膨らんでいたAIシステムを最適化、コスト90%削減した事例
課題
カスタマーサポートAIの API費用が月50万円に膨らみ、CFOから「コストが利益を食い潰す」と警告。
解決策
モデル段階化、プロンプトキャッシング、コンテキスト圧縮、リクエスト統合、上限設定を1ヶ月で実装。
成果
月額費用 50万円 → 5万円（90%削減）。同時に応答品質も維持、レイテンシは2倍高速化。
## ご相談時の状況
EC・小売業のお客様から「OpenAI API の月額費用が想定の8倍になっており、社内で大問題になっている」というご相談を、急ぎでいただきました。
システムはカスタマーサポート用のAIチャットボット。お客様の問合せに対して、商品情報・配送状況・返品ポリシーなどを答えるものです。導入当初の試算では月額6万円程度の見込みでしたが、実際は月50万円に膨らんでいました。
CFO からは「このペースだとAI機能が利益を食い潰す。今月中に半額に下げるか、機能停止するかを決めてくれ」という最終通告。お客様は半ば諦めかけていましたが、念のため第三者の意見をということでご相談いただきました。
## コスト分析
まずは月50万円の内訳を可視化しました。OpenAI のダッシュボードと、社内の使用ログを突き合わせて、以下が分かりました。
- GPT-4 の使用率: 100%（すべての処理で GPT-4 を使用）
- 1リクエストあたりの平均トークン: Input 4500 + Output 800 = 5300 トークン
- 月間リクエスト数: 約 18,000 回
- 商品マスタ（約2万件のJSON）を毎回コンテキストに含めていた
- 1質問に対して 平均3回の API 呼び出し（要約 → 検索 → 回答）
問題点を整理しました：
1. すべての処理に GPT-4 を使うのは過剰。簡単な分類タスクは安価なモデルで十分。
2. 商品マスタを毎回コンテキストに含めるのはトークンの無駄。RAGで関連商品だけ取るべき。
3. 1質問あたり3回の API 呼び出しは多すぎる。1〜2回に統合可能。
4. プロンプトキャッシングを使っていない（システムプロンプトが毎回再計算される）。
5. レート制限・上限設定がない（ピーク時に無制限）。
## 最適化の実施（4週間）
第1週は計測と段階化。
まず、リクエストを「分類」「検索」「回答生成」の3層に分け、それぞれに適切なモデルを割り当てました。
- 分類（質問が商品関連か、配送関連か、返品関連か）: GPT-3.5-turbo
- 関連商品の検索: 埋め込みベクトル検索（GPT 不要）
- 回答生成: 簡単な質問は GPT-3.5、複雑な質問は GPT-4o
この段階化だけで、コストは月50万円 → 月18万円 に圧縮。GPT-4 を必要な場面だけに絞ったことが効きました。
第2週はRAG導入。商品マスタを Pinecone に格納し、質問に関連する商品（上位5件）だけをコンテキストに含めるよう変更しました。これでInput トークン数は 4500 → 1500 に削減。月18万円 → 月10万円 に。
第3週はプロンプトキャッシング。OpenAI のプロンプトキャッシング機能（または Anthropic Claude の同等機能）を活用し、共通のシステムプロンプト・商品ポリシー・例文をキャッシュ。月10万円 → 月7万円 に。
第4週は最終最適化。リクエスト統合（3回 → 1回）、不要な要約処理の削除、レスポンス長の上限設定。月7万円 → 月5万円 に。
## 結果と効果
最終的な月額費用は5万円。当初の50万円から 90% の削減を達成しました。同時に、レイテンシも改善（複数呼び出しが1回になったため）し、ユーザー体験はむしろ向上しました。
応答品質を懸念しましたが、評価データセット（50問）で改善前と改善後を比較したところ、正答率は維持されていました（GPT-4のみ → GPT-3.5/GPT-4 混合でも、簡単な質問では差がない）。
お客様の CFO からは「これでようやく利益を出せる」というコメントをいただき、AI チャットボットを継続することが決まりました。
## 学び
「AI のコストが膨らむ」と聞くと、多くの方は「AI を使うのを諦めるか、機能を削るか」の二択を考えがちです。しかし実態は、ほとんどのケースで「最適化すれば 50〜90% は削減可能」という余地があります。
最初から最適化を意識した設計をすれば、こういった事態は避けられます。しかし、PoC から本番展開する際は「とにかく動かす」を優先しがちで、コスト最適化は後回しになります。本番展開後 1〜3 ヶ月のタイミングで一度コスト棚卸しをすることをお勧めします。
EC・小売業のお客様から「OpenAI API の月額費用が想定の8倍になっており、社内で大問題になっている」というご相談を、急ぎでいただきました。
システムはカスタマーサポート用のAIチャットボット。お客様の問合せに対して、商品情報・配送状況・返品ポリシーなどを答えるものです。導入当初の試算では月額6万円程度の見込みでしたが、実際は月50万円に膨らんでいました。
CFO からは「このペースだとAI機能が利益を食い潰す。今月中に半額に下げるか、機能停止するかを決めてくれ」という最終通告。お客様は半ば諦めかけていましたが、念のため第三者の意見をということでご相談いただきました。
## コスト分析
まずは月50万円の内訳を可視化しました。OpenAI のダッシュボードと、社内の使用ログを突き合わせて、以下が分かりました。
- GPT-4 の使用率: 100%（すべての処理で GPT-4 を使用）
- 1リクエストあたりの平均トークン: Input 4500 + Output 800 = 5300 トークン
- 月間リクエスト数: 約 18,000 回
- 商品マスタ（約2万件のJSON）を毎回コンテキストに含めていた
- 1質問に対して 平均3回の API 呼び出し（要約 → 検索 → 回答）
問題点を整理しました：
1. すべての処理に GPT-4 を使うのは過剰。簡単な分類タスクは安価なモデルで十分。
2. 商品マスタを毎回コンテキストに含めるのはトークンの無駄。RAGで関連商品だけ取るべき。
3. 1質問あたり3回の API 呼び出しは多すぎる。1〜2回に統合可能。
4. プロンプトキャッシングを使っていない（システムプロンプトが毎回再計算される）。
5. レート制限・上限設定がない（ピーク時に無制限）。
## 最適化の実施（4週間）
第1週は計測と段階化。
まず、リクエストを「分類」「検索」「回答生成」の3層に分け、それぞれに適切なモデルを割り当てました。
- 分類（質問が商品関連か、配送関連か、返品関連か）: GPT-3.5-turbo
- 関連商品の検索: 埋め込みベクトル検索（GPT 不要）
- 回答生成: 簡単な質問は GPT-3.5、複雑な質問は GPT-4o
この段階化だけで、コストは月50万円 → 月18万円 に圧縮。GPT-4 を必要な場面だけに絞ったことが効きました。
第2週はRAG導入。商品マスタを Pinecone に格納し、質問に関連する商品（上位5件）だけをコンテキストに含めるよう変更しました。これでInput トークン数は 4500 → 1500 に削減。月18万円 → 月10万円 に。
第3週はプロンプトキャッシング。OpenAI のプロンプトキャッシング機能（または Anthropic Claude の同等機能）を活用し、共通のシステムプロンプト・商品ポリシー・例文をキャッシュ。月10万円 → 月7万円 に。
第4週は最終最適化。リクエスト統合（3回 → 1回）、不要な要約処理の削除、レスポンス長の上限設定。月7万円 → 月5万円 に。
## 結果と効果
最終的な月額費用は5万円。当初の50万円から 90% の削減を達成しました。同時に、レイテンシも改善（複数呼び出しが1回になったため）し、ユーザー体験はむしろ向上しました。
応答品質を懸念しましたが、評価データセット（50問）で改善前と改善後を比較したところ、正答率は維持されていました（GPT-4のみ → GPT-3.5/GPT-4 混合でも、簡単な質問では差がない）。
お客様の CFO からは「これでようやく利益を出せる」というコメントをいただき、AI チャットボットを継続することが決まりました。
## 学び
「AI のコストが膨らむ」と聞くと、多くの方は「AI を使うのを諦めるか、機能を削るか」の二択を考えがちです。しかし実態は、ほとんどのケースで「最適化すれば 50〜90% は削減可能」という余地があります。
最初から最適化を意識した設計をすれば、こういった事態は避けられます。しかし、PoC から本番展開する際は「とにかく動かす」を優先しがちで、コスト最適化は後回しになります。本番展開後 1〜3 ヶ月のタイミングで一度コスト棚卸しをすることをお勧めします。