ما هو التوكن في الذكاء الاصطناعي؟ التوكنات وتكلفة الـ API

التوكن هو أصغر وحدة نصية يقرؤها نموذج الذكاء الاصطناعي ويكتبها: كلمة كاملة أو جزء من كلمة أو رقم أو علامة ترقيم. وتحسب واجهات الـ API التوكنات التي ترسلها والتوكنات التي يكتبها النموذج، وتسعّرها لكل مليون توكن. ويعادل التوكن في الإنجليزية نحو أربعة أحرف في المتوسط، أما النص العربي فيحتاج غالبًا إلى توكنات أكثر لكل كلمة.

ما هو التوكن؟#

لا يرى النموذج الحروف ولا الجمل كاملة. فقبل أن يصل نصك إليه، تقسّمه أداة التقسيم (tokenizer) إلى قطع من مفردات ثابتة، وتعطي كل قطعة رقمًا. ويعمل النموذج على هذه الأرقام، ثم يكتب إجابته توكنًا بعد توكن.

وتصف OpenAI التوكنات بأنها تتابعات من الحروف تتكرر كثيرًا في النصوص، وتعرّفها Anthropic بأنها أصغر وحدات النموذج اللغوي، وقد تكون كلمات أو أجزاء من كلمات أو حروفًا أو بايتات.

وتشترك أدوات التقسيم في أنماط واضحة:

• الكلمة الشائعة توكن واحد غالبًا، والنادرة تنقسم. في تجربتنا على أداة التقسيم المفتوحة من OpenAI، كلمة token توكن واحد، وtokenization توكنان: token وization.
• المسافات وعلامات الترقيم والأرقام تُحسب أيضًا. والأرقام الطويلة والروابط والشيفرة تنقسم غالبًا إلى توكنات صغيرة كثيرة.
• لكل مزوّد أداة تقسيم خاصة. فالنص نفسه يعطي عددًا مختلفًا من التوكنات مع نماذج Claude وGPT وGemini.

كم كلمة يساوي التوكن؟#

تنشر المزوّدات قواعد تقريبية للنص الإنجليزي:

وبهذا تعادل 1,000 كلمة إنجليزية نحو 1,330 توكنًا بقاعدة OpenAI، وبين 1,250 و1,670 توكنًا بقاعدة Google. وهذه متوسطات للنثر العادي، أما الشيفرة والجداول والروابط واللغات الأخرى فتغيّر النسبة. والرقم الدقيق الوحيد هو ما يعيده الـ API لطلبك.

هل يستهلك النص العربي توكنات أكثر من الإنجليزي؟#

غالبًا نعم. تتعلم أداة التقسيم قطعها من نصوص التدريب، وحين يكون أغلب هذه النصوص بالإنجليزية تحصل الكلمات الإنجليزية على قطع كاملة، وتنقسم كلمات اللغات الأخرى إلى أجزاء أكثر. ووجدت دراسة نشرها بيتروف وزملاؤه في 2023 أن النص نفسه قد يختلف عدد توكناته بين لغة وأخرى حتى 15 ضعفًا.

وقد مرّرنا جملة عربية وترجمتها الإنجليزية على أداة التقسيم نفسها (o200k_base من OpenAI، في 2026-11-01):

الجملة العربية أقل كلماتٍ وأحرفًا، لكنها تحتاج إلى توكنات أكثر بنحو 19%: نحو 1.7 توكن لكل كلمة، مقابل 1.2 في الإنجليزية. وهذه جملة واحدة على أداة واحدة، فهي مثال توضيحي لا نسبة ثابتة. ولتعرف النسبة في نصك، أرسل عينة منه واقرأ عدد التوكنات في الرد.

كيف تحدد التوكنات السعر؟#

تسعّر واجهات الـ API النماذج لكل مليون توكن، بسعر للإدخال (ما ترسله) وسعر آخر للإخراج (ما يكتبه النموذج)، والإخراج في الغالب أغلى من الإدخال بعدة أضعاف. وتُحسب تكلفة الطلب هكذا:

• تكلفة الإدخال = توكنات الإدخال ÷ مليون × سعر الإدخال.
• تكلفة الإخراج = توكنات الإخراج ÷ مليون × سعر الإخراج.
• تكلفة الطلب = تكلفة الإدخال + تكلفة الإخراج.

وهذا سعر النموذج الافتراضي لكل مليون توكن، سعرنا بجوار السعر الرسمي:

ومثال محسوب: بوت دعم يجيب عن 1,000 سؤال في الشهر. يرسل كل طلب نحو 1,500 توكن (سياسة المتجر والسؤال وجزء من المحادثة)، ويعود بنحو 300 توكن. فيكون المجموع في الشهر 1.5 مليون توكن إدخال و300 ألف توكن إخراج:

الإخراج هنا خُمس حجم الإدخال، لكنه يشكّل حصة كبيرة من الفاتورة لأن توكن الإخراج أغلى. ولأن نص السياسة يُرسل مع كل طلب، فإن تقصيره يخفض تكلفة الإدخال في الطلبات الألف كلها.

ما الذي يُحسب توكنات في الطلب؟#

السؤال الذي تكتبه هو غالبًا أصغر جزء مما تدفع ثمنه:

• المحادثة السابقة. ترسل صيغ المحادثة المعتادة الرسائل السابقة من جديد مع كل رسالة، فتزيد تكلفة كل رد كلما طالت المحادثة.
• تعليمات النظام وتعريفات الأدوات. تُرسل مع كل طلب، وتُحسب إدخالًا في كل مرة.
• الصور والصوت. تتحول هي أيضًا إلى توكنات. ففي وثائق Gemini من Google مثلًا، تُحسب الصورة التي لا يتجاوز كل بُعد منها 384 بكسل بـ 258 توكنًا، ويُحسب الصوت بـ 32 توكنًا لكل ثانية.
• توكنات التفكير. تفكر نماذج الاستدلال قبل أن تجيب. وتقول OpenAI إن توكنات التفكير لا تظهر عبر الـ API، لكنها تشغل مساحة من نافذة السياق وتُحسب توكنات إخراج. وتعرض Anthropic عددها لنماذج Claude في الحقل usage.output_tokens_details.thinking_tokens.
• الإدخال المخزّن مؤقتًا. حين تبدأ طلبات كثيرة بالنص الطويل نفسه، يقرؤه المزوّد من التخزين المؤقت بسعر أقل، كما في التخزين المؤقت للطلبات.

ما هي نافذة السياق؟#

نافذة السياق هي أكبر عدد من التوكنات يستطيع النموذج التعامل معه في طلب واحد، وتصفها Anthropic بأنها «ذاكرة العمل» للنموذج. وقاعدة OpenAI أن الطلب والإخراج الذي يكتبه النموذج يجب ألا يتجاوزا معًا أقصى طول للسياق في النموذج.

والنافذة الأكبر تتيح لك إرسال مستندات أطول ومحادثات أطول، لكن كل توكن تضعه فيها محسوب. وفي خبير، يجيب الطلب الأطول من نافذة النموذج بالحالة 400 والرمز CONTEXT_LIMIT_EXCEEDED، ونافذة كل نموذج في طول السياق.

كيف تعدّ التوكنات؟#

يبيّن كل رد عدد التوكنات التي حُسبت عليه، وتختلف أسماء الحقول بحسب الصيغة:

ولتعدّ التوكنات قبل الإرسال، تتيح صيغة Messages طلب عدّ التوكنات، فيعيد input_tokens دون أن يستدعي النموذج. وتصف Anthropic هذا العدد بأنه تقدير، وإن لم يكن العدّ متاحًا لنموذج ما يصلك الخطأ 404.

وبعد الإرسال، تعرض لوحة التحكم استخدامك وتكلفته لكل مفتاح ولكل نموذج، كما في تابع استخدامك.

كيف تقلل استهلاك التوكنات؟#

• اجعل تعليمات النظام قصيرة وثابتة. فأنت تدفع ثمنها مع كل طلب.
• أرسل ما يحتاجه النموذج فقط. اختر الجزء المهم من المستند بدل الملف كله.
• اختصر المحادثات الطويلة. احذف الرسائل القديمة أو لخّصها.
• ضع النص الثابت أولًا. فالبداية الثابتة تتيح للتخزين المؤقت أن يعمل. ومع نماذج Claude حدّدها بالحقل cache_control في Messages.
• حدّد طول الإجابة. استخدم max_tokens في Messages، أو max_completion_tokens في Chat Completions، أو max_output_tokens في Responses. وفي خبير لا تُقدَّم نماذج Gemini على Responses، وتتجاهل نماذج GPT هذه الحدود، لذلك اطلب مع نماذج GPT إجابة قصيرة في التعليمات أيضًا.
• اختر النموذج المناسب للمهمة. فالنموذج الأصغر يكفي غالبًا للفرز والتصنيف والردود القصيرة.

كيف يحاسب خبير على التوكنات؟#

يدفع مفتاح API من خبير ثمن التوكنات من رصيدك، بسعر للإدخال وسعر للإخراج كما سبق. وكل نموذج مسعّر بالتوكن أقل من سعره الرسمي. وأسعارنا تتبع الأسعار الرسمية المنشورة، ويظهر مع كل سعر تاريخ آخر مراجعة له. قارن كل نموذج في صفحة الـ API وصفحة النماذج، أو نماذج Claude في Claude API.

ولكل مفتاح حد للإنفاق وتاريخ انتهاء وقائمة عناوين IP المسموح بها، فلا يتجاوز سكربت عالق في حلقة متكررة ما حددته. والخطوات في تحكّم في كل مفتاح.

أما الباقات فتعمل بطريقة مختلفة: سعر ثابت مع حد الساعات الخمس والحد الأسبوعي، كما في صفحة الأسعار. والباقات مخصصة للتطبيقات المدعومة، ولاستخدام النماذج من الكود الخاص بك أنشئ مفتاح API. وإذا فعّلت المتابعة من المحفظة، تُخصم الطلبات بعد بلوغ حد الباقة من رصيدك حتى يتجدد الحد. والمقارنة بين الطريقين في ما الفرق بين اشتراك AI والـ API؟، ولنماذج Claude خاصة اقرأ Claude API أم اشتراك Claude Pro/Max. وإن كنت جديدًا على المفاتيح فابدأ من ما هو مفتاح API وكيف تحصل على واحد.

أسئلة شائعة#

هل التوكن هو الكلمة نفسها؟#

لا. التوكن في الإنجليزية نحو ثلاثة أرباع كلمة في المتوسط، فتعادل 100 توكن نحو 60 إلى 80 كلمة. والكلمات القصيرة الشائعة توكن واحد غالبًا، والطويلة أو النادرة تنقسم إلى عدة توكنات.

هل تُحسب توكنات الإخراج أيضًا؟#

نعم، وغالبًا بسعر أعلى من الإدخال، فالإجابة الطويلة تزيد الفاتورة أكثر من سؤال بالطول نفسه. وسعر الإدخال والإخراج لكل نموذج في صفحة الـ API.

هل تُحسب توكنات التفكير؟#

نعم. تحسب OpenAI وAnthropic تفكير النموذج الداخلي توكنات إخراج، حتى إن لم يظهر لك نص التفكير.

هل تعدّ كل النماذج النص نفسه بالطريقة نفسها؟#

لا. لكل مزوّد أداة تقسيم خاصة، وقد يعدّ النموذج الأحدث النص نفسه بطريقة مختلفة عن الأقدم. ولتقارن، أرسل العينة نفسها إلى كل نموذج.

كم توكنًا في الصفحة الواحدة؟#

الصفحة التي فيها نحو 500 كلمة إنجليزية تعادل تقريبًا 600 إلى 850 توكنًا بحسب القواعد السابقة. والنص العربي والشيفرة والجداول تحتاج عادة إلى أكثر.

هل تحسب الباقات التوكنات؟#

للباقات سعر ثابت مع حد الساعات الخمس والحد الأسبوعي، وليس لها فاتورة بالتوكن. أما مفتاح API فيُحاسب بالتوكن من رصيدك. والاثنان في صفحة الأسعار.

أين أرى عدد التوكنات التي استخدمتها؟#

في أرقام الاستخدام في كل رد، وفي لوحة التحكم، لكل مفتاح ولكل نموذج.

المصادر#

راجعناها في 2026-11-01:

• Anthropic: Glossary وToken counting وExtended thinking
• OpenAI: Key concepts وReasoning models
• Google AI for Developers: Understand and count tokens
• بيتروف وآخرون، 2023: Language Model Tokenizers Introduce Unfairness Between Languages
• عددنا توكنات الجملتين السابقتين بأنفسنا بمكتبة tiktoken المفتوحة من OpenAI وأداة التقسيم o200k_base

ابدأ#

قارن أسعار النماذج في صفحة الـ API، أو أنشئ مفتاحًا وشاهد عدد التوكنات في أول رد.