تكلفة التوكن بالعربي: لماذا يستهلك العربي توكنات أكثر

تكلّف الرسالة العربية عادةً أكثر من مثيلتها الإنجليزية، فسعر التوكن واحد في كل اللغات، لكن المعنى نفسه ينقسم إلى توكنات أكثر. وعلى o200k_base، أداة تقسيم التوكنات (tokenizer) التي تستخدمها OpenAI لنماذج GPT الحديثة، استهلكت نصوصنا العربية من 1.2 إلى 1.5 ضعف توكنات أصلها الإنجليزي. ويزيد التشكيل والأرقام الهندية هذا الفارق.

لماذا تستهلك العربية توكنات أكثر#

لا يقرأ النموذج الكلمات كما هي. تقطع أداة التقسيم النص أولًا إلى قطع من مفردات ثابتة، ويحاسب المزوّد على كل قطعة يقرؤها النموذج أو يكتبها. وكثير من الكلمات الإنجليزية الشائعة قطعة واحدة، أما كثير من الكلمات العربية فينقسم إلى قطعتين حتى أربع.

والحروف المتصلة بالكلمة ليست السبب الرئيسي، فكلمة «وسيكتبونها» أربعة توكنات وترجمتها الإنجليزية خمسة، وكلمة «وبكتبهم» ثلاثة وترجمتها أربعة. الفارق يأتي من كلمات عادية تنقسم:

وفي النصوص الأربعة التي اختبرناها، استهلكت الإنجليزية 1.13 توكن لكل كلمة، واستهلكت العربية 1.91. وكانت النسخ العربية أقل كلمات (204 مقابل 269)، لكن ذلك لم يكفِ لسد الفارق.

ماذا قسنا#

كتبنا أربعة نصوص بالإنجليزية، وترجمنا كلًّا منها إلى العربية الفصحى، ثم عددنا توكنات النسختين بمكتبة tiktoken من OpenAI (الإصدار 0.14.0) على o200k_base، في 2026-11-01:

وثلاث نتائج أخرى من الاختبار نفسه:

• أدوات التقسيم الأقدم أسوأ بكثير. على cl100k_base، التي تربطها مكتبة OpenAI بنماذج GPT الأقدم، بقيت أعداد الإنجليزية كما هي، واستهلكت النصوص العربية الأربعة 858 توكنًا، أي 2.82 ضعف الإنجليزية.
• التشكيل يضاعف العدد. استهلك رد الدعم بالتشكيل الكامل 345 توكنًا، مقابل 101 من دونه، أي 3.4 ضعف.
• والأرقام تؤثر أيضًا. استهلك إشعار طلب قصير فيه تواريخ ومبالغ 39 توكنًا بالإنجليزية، و43 بالعربية مع الأرقام الغربية (0–9)، و53 مع الأرقام الهندية (٠–٩).

وعددنا أيضًا توكنات النص في 48 صفحة من توثيقنا المنشور باللغتين. هناك استهلكت العربية 1.18 ضعف توكنات الإنجليزية (الوسيط 1.20، والمدى من 1.06 إلى 1.34). فالصفحات التقنية تُبقي أسماء النماذج والأوامر والمسارات بالحروف اللاتينية، وهذه تُعدّ بالطريقة نفسها في اللغتين، فيضيق الفارق. والنسبة تتغير مع النص، لذلك عُدّ توكنات نصك أنت.

هل يعدّ Claude وGemini العربية بالطريقة نفسها؟#

لا. لكل مزوّد أداة تقسيم خاصة به، فيعطي النص العربي نفسه عددًا مختلفًا عند كل واحد، والنسب السابقة تخص o200k_base وحدها.

وتصف Anthropic عدّها للتوكنات بأنه تقديري، وتذكر أن نماذج Claude الأحدث تستخدم أداة تقسيم أحدث تنتج توكنات أكثر للنص نفسه، لذلك أعِد عدّ نصوص طلباتك بعد تغيير النموذج. أما قاعدة Google التقريبية، أي نحو 4 أحرف لكل توكن أو 60 إلى 80 كلمة إنجليزية لكل 100 توكن، فهي تقدير عام، والأفضل أن تعدّ النص العربي مباشرة. وفي كل الأحوال، تتبع الفاتورة حقل usage في كل رد.

مثال على التكلفة#

لنفترض أن مساعد دعم آليًّا يجري 3,000 محادثة في الشهر. بالإنجليزية، تستهلك المحادثة في المتوسط 1,500 توكن إدخال (التعليمات والسجل ورسالة العميل) و300 توكن إخراج. هذا يساوي 4.5 مليون توكن إدخال و0.9 مليون توكن إخراج في الشهر على gpt-5.6-sol:

والمساعد نفسه بالعربية، بنحو 1.3 ضعف التوكنات (النسبة في نصوصنا الأربعة)، يستهلك 5.85 مليون توكن إدخال و1.17 مليون توكن إخراج:

سعر التوكن واحد في الحالتين، والذي يتغير هو العدد وحده، ويكبر الفارق مع حجم استخدامك.

ست طرق لتقليل توكنات العربية#

1. اكتب التعليمات الثابتة بالإنجليزية. تُرسل تعليمات النظام مع كل طلب. استهلكت تعليماتنا للنموذج 73 توكنًا بالإنجليزية و85 بالعربية، ويستطيع النموذج مع ذلك أن يرد بالعربية.
2. تجنب التشكيل إلا إذا توقف عليه المعنى. استهلك الرد نفسه 345 توكنًا بالتشكيل الكامل، مقابل 101 من دونه.
3. استخدم الأرقام الغربية في البيانات. أبقِ الأرقام 0–9 في الطلبات والبيانات المحفوظة، وحوّلها إلى الأرقام الهندية عند العرض إن احتجت إليها.
4. حدّد طول الردود وقصّرها. الإخراج أغلى من الإدخال في كل نماذج المحادثة في قائمتنا. اطلب إجابات قصيرة وضع حدًا: max_completion_tokens في Chat Completions، أو max_output_tokens في Responses، أو max_tokens في Messages.
5. خزّن الأجزاء الطويلة الثابتة مؤقتًا. يمكن تخزين التعليمات الطويلة أو النصوص المرجعية التي تتكرر في كل طلب، وتُحسب قراءة المخزَّن بأقل من سعر الإدخال العادي. تحتاج نماذج Claude إلى cache_control، وتخزّن نماذج GPT الأجزاء الطويلة المتكررة في بداية الطلب تلقائيًا. التفاصيل في التخزين المؤقت للطلبات.
6. استخدم نموذجًا أصغر للمهام البسيطة. نماذج GPT التي تشترك في أداة التقسيم نفسها تعدّ النص نفسه بالطريقة نفسها، فالنموذج الأصغر يخفض سعر التوكن لا عدد التوكنات. قارن الأسعار في صفحة النماذج.

عُدّ التوكنات قبل الإرسال#

في نماذج GPT تستطيع العدّ دون اتصال. يعدّ هذا البرنامج الجملة العربية في الجدول السابق وترجمتها الإنجليزية:

import tiktoken

enc = tiktoken.get_encoding("o200k_base")
for text in ["Your subscription renews automatically every month.", "يتجدد اشتراكك تلقائيًا كل شهر."]:
    print(len(enc.encode(text)), text)

يطبع 8 ثم 12. ولنماذج Claude، أرسل جسم الطلب دون max_tokens إلى POST /v1/messages/count_tokens، فيعيد input_tokens دون تشغيل النموذج. وإذا أعاد 404، فأرسل طلبًا حقيقيًا قصيرًا واقرأ حقل usage فيه. ولنماذج Gemini، استخدم countTokens. وفي التشغيل الفعلي، سجّل حقل usage من كل رد، ففيه التوكنات التي تُحاسب عليها.

كيف يعمل ذلك في خبير#

لكل نموذج في خبير سعر لكل مليون توكن إدخال وسعر لكل مليون توكن إخراج، وهو نفسه للنص العربي والإنجليزي. تكلفة الطلب هي التوكنات في حقل usage مضروبة في سعر النموذج، وكل أسعار الـ API أقل من السعر الرسمي للنموذج.

1. 1

   أنشئ مفتاحًا#

   أنشئ مفتاح API من لوحة التحكم. الخطوات في إنشاء مفتاح.

2. 2

   اشحن رصيدك#

   اشحن رصيدك بإحدى طرق الدفع. تُخصم الطلبات منه كما في الرصيد.

3. 3

   قِس نصك أنت#

   أرسل بعض الطلبات العربية المعتادة لديك، واقرأ حقل usage في كل رد. هكذا تعرف نسبتك الحقيقية وتكلفة الطلب الواحد.

4. 4

   راقب الاستخدام#

   تابع الإنفاق لكل مفتاح ولكل نموذج في الاستخدام.

أسعار كل النماذج في صفحة النماذج وصفحة الـ API.

أسئلة شائعة#

هل سعر التوكن العربي أعلى؟#

لا. للتوكن سعر واحد في كل اللغات. تكلّف الرسالة العربية أكثر فقط لأن المعنى نفسه يحتاج إلى توكنات أكثر.

كم توكنًا تستهلك الكلمة العربية؟#

على o200k_base، استهلكت نصوصنا العربية الأربعة نحو 1.9 توكن لكل كلمة، إذا عددنا الكلمات بالمسافات، مقابل نحو 1.1 للنصوص الإنجليزية. فالعربية تصل حروفًا مثل الواو و«ال» بالكلمة التي تليها، فتقل الكلمات للمعنى نفسه، لكن كل كلمة تنقسم إلى توكنات أكثر.

هل أترجم النص العربي إلى الإنجليزية قبل إرساله؟#

غالبًا لا. فالترجمة نفسها تستهلك توكنات، وقد تغيّر المعنى. أبقِ التعليمات الثابتة بالإنجليزية، وأرسل نص العميل كما هو.

هل تنطبق هذه النسب على Claude وGemini؟#

لا. قسنا o200k_base، أداة التقسيم في نماذج GPT الحديثة. ولنماذج Claude وGemini أدواتها الخاصة، فعُدّ التوكنات فيها عبر count_tokens أو countTokens.

هل تُحسب التوكنات المخزنة مؤقتًا بالسعر الكامل؟#

لا. تُحسب بسعر قراءة التخزين المؤقت الأقل، المعروض في صفحة كل نموذج.

المصادر#

راجعناها في 2026-11-01:

• مكتبة OpenAI: tiktoken وجدول ربط النماذج بأدوات التقسيم
• توثيق Anthropic: Token counting
• توثيق Google: Understand and count tokens
• اختبار خبير: أربعة نصوص إنجليزية وترجماتها العربية، ونص 48 صفحة من التوثيق، عددناها بمكتبة tiktoken 0.14.0 في 2026-11-01

ابدأ#

قارن الأسعار في صفحة الـ API، أو أنشئ مفتاحًا وقِس نصك العربي في حقل usage.