التخزين المؤقت للطلبات في Claude وGPT وGemini

حين تبدأ طلبات كثيرة بالنص الطويل نفسه، مثل تعليمات النظام أو دليل منتج أو قاعدة شيفرة، يستطيع النموذج إعادة استخدام ما قرأه بدلًا من قراءته من جديد. القراءة من التخزين المؤقت أقل تكلفة من الإدخال الجديد وأسرع.

نماذج Claude: حدّد ما يُخزَّن#

مع نماذج Claude تختار ما يُخزَّن بإضافة cache_control إلى كتلة محتوى في Messages. كل ما يسبق تلك الكتلة ويشملها يصبح البداية المخزّنة:

[
  {
    "type": "text",
    "text": "You are the support assistant for Lumen Notes. Product manual: ...",
    "cache_control": { "type": "ephemeral" }
  }
]

• ضع الأجزاء الثابتة أولًا: الأدوات، ثم التعليمات، ثم المستندات، والسؤال المتغير في النهاية.
• يحفظ التخزين البداية كما هي حرفيًا: إذا غيّرت حرفًا واحدًا قبل العلامة يقرأ ذلك الطلب من جديد.
• البداية القصيرة لا تُخزَّن، فالفائدة في النصوص الطويلة المتكررة.
• الحقل cache_control ميزة في Messages، أما Chat Completions وResponses فلا حقل فيهما لتحديد ما يُخزَّن لنماذج Claude.

طلب كامل مع رده المسجّل في مثال التخزين المؤقت.

نماذج GPT: تلقائيًا#

تخزّن نماذج GPT البدايات الطويلة المتكررة بنفسها، فلا تحتاج إلى أي علامة. وفي Responses يمكنك إضافة prompt_cache_key بقيمة ثابتة لكل نوع من الطلبات، فتتشارك الطلبات المتشابهة التخزين.

نماذج Gemini#

لا يوجد هنا حقل للتخزين المؤقت تضبطه لنماذج Gemini. اجعل الجزء الثابت من طلباتك في بدايتها كما سبق.

اعرفه من أرقام الاستخدام#

تبيّن أرقام الاستخدام في كل رد ما جاء من التخزين المؤقت:

• Messages: ما قُرئ من التخزين في usage.cache_read_input_tokens، وما كُتب فيه في usage.cache_creation_input_tokens.
• Chat Completions: ما قُرئ من التخزين في usage.prompt_tokens_details.cached_tokens.
• Responses: ما قُرئ من التخزين في usage.input_tokens_details.cached_tokens.

السعر#

للقراءة من التخزين والكتابة فيه سعر خاص لكل مليون توكن، تجده في صفحة كل نموذج، مثل صفحة هذا النموذج.