このビデオチュートリアルでは、LLM（Language Model）アプリケーションにおいてキャッシュ技術を使用してOpenAI APIのコストを節約する方法について説明します。キャッシュとは、元のプロンプトとレスポンスを一時的なストレージであるキャッシュに保存し ...

長いシステムプロンプトや分厚いドキュメントを、毎回まるごとAPIに送っていませんか。実はその入力トークン、ほとんどが「同じ内容の使い回し」なのに毎回フル課金されています。この記事では、Claudeの`prompt caching`を使って入力コストを最大90%削減する ...