{
  "$schema": "https://truvec.dev/blog/schema/benchmark.schema.json",
  "schema_version": 1,
  "sample": false,
  "source": {
    "benchmark_id": 12,
    "exported_at": "2026-11-14T01:47:26.839Z",
    "app_url": "https://app.truvec.dev"
  },
  "name": "Embedding models on Arabic help pages and news",
  "description": null,
  "run": {
    "top_k": 5,
    "created_at": "2026-11-14T01:12:53.947073Z",
    "completed_at": "2026-11-14T01:25:47.849082Z",
    "ranking": "MRR, then recall@k"
  },
  "corpus": {
    "name": "Arabic Wikinews articles and Arabic Wikipedia help pages",
    "description": "181 news articles from Arabic Wikinews and 52 help pages from Arabic Wikipedia, in Modern Standard Arabic (CC BY-SA 4.0).",
    "url": "https://ar.wikinews.org",
    "documents": 233,
    "chunks": 1933,
    "chunking": {
      "strategy": "recursive",
      "separator": "\n\n",
      "chunk_size": 1000,
      "chunk_overlap": 200
    }
  },
  "golden_set": {
    "name": "Generated golden set, reviewed",
    "questions": 100,
    "reviewed": true,
    "generated_by": "gpt-5.6-luna"
  },
  "notes": [
    "The corpus is 181 articles from Arabic Wikinews (ar.wikinews.org) and 52 help pages from Arabic Wikipedia (ar.wikipedia.org, Help namespace), both CC BY-SA 4.0, fetched as plain text on 14 November 2026. Pages were picked at random among those between 1,500 and 30,000 characters.",
    "All 100 questions are written in Modern Standard Arabic: 60 are about news articles and 40 about help pages. There are no dialect or Arabizi questions, so treat these results as an upper bound for dialect users.",
    "BGE Base EN v1.5 is English-only: it is included as a baseline.",
    "Arabic takes more tokens per character than English: these 1,000-character chunks average about 440 tokens. BGE Base EN v1.5 reads at most 380 tokens per chunk in Truvec and Cohere Embed Multilingual v3 at most 512, so both saw some chunks cut short.",
    "With 100 questions, a gap of a couple of points between two models is within the noise."
  ],
  "models": [
    {
      "rank": 1,
      "name": "Voyage 4 Large",
      "provider": "voyage",
      "model_name": "voyage-4-large",
      "dimension": 1024,
      "price_per_million_tokens": 0.12,
      "status": "completed",
      "metrics": {
        "hit_rate": 0.99,
        "recall": 0.99,
        "precision": 0.19799999999999962,
        "f1_score": 0.32999999999999957,
        "mrr": 0.97,
        "ndcg": 0.975237190142858
      },
      "correct_answers": 99,
      "hit_rate_at": {
        "1": 0.95,
        "2": 0.99,
        "3": 0.99,
        "4": 0.99,
        "5": 0.99
      },
      "rank_histogram": {
        "1": 95,
        "2": 4,
        "3": 0,
        "4": 0,
        "5": 0,
        "miss": 1
      },
      "scores": {
        "mean_relevant_score": 0.6016928098989901,
        "mean_top_distractor_score": 0.5082802556000001,
        "score_gap": 0.09372911636363632
      },
      "latency": {
        "embedding_ms_per_query": 13.213107590563595,
        "search_ms_p50": 9.54588153399527,
        "search_ms_p95": 16.1851106910035
      },
      "cost": {
        "corpus_tokens": 856262,
        "index_cost_usd": 0.10275144,
        "cost_per_1k_queries_usd": 0.0068712
      },
      "vector_storage_bytes": 7917568
    },
    {
      "rank": 2,
      "name": "Qwen3 Embedding 8B",
      "provider": "fireworks",
      "model_name": "fireworks/qwen3-embedding-8b",
      "dimension": 4096,
      "price_per_million_tokens": 0.1,
      "status": "completed",
      "metrics": {
        "hit_rate": 1,
        "recall": 1,
        "precision": 0.19999999999999962,
        "f1_score": 0.3333333333333329,
        "mrr": 0.9191666666666667,
        "ndcg": 0.9400183360093084
      },
      "correct_answers": 100,
      "hit_rate_at": {
        "1": 0.85,
        "2": 0.97,
        "3": 0.99,
        "4": 1,
        "5": 1
      },
      "rank_histogram": {
        "1": 85,
        "2": 12,
        "3": 2,
        "4": 1,
        "5": 0,
        "miss": 0
      },
      "scores": {
        "mean_relevant_score": 0.7767498894999999,
        "mean_top_distractor_score": 0.7028372798000001,
        "score_gap": 0.07391260969999998
      },
      "latency": {
        "embedding_ms_per_query": 26.56431809067726,
        "search_ms_p50": 16.167144989594817,
        "search_ms_p95": 22.54991398658603
      },
      "cost": {
        "corpus_tokens": 856262,
        "index_cost_usd": 0.08562620000000001,
        "cost_per_1k_queries_usd": 0.005726
      },
      "vector_storage_bytes": 31670272
    },
    {
      "rank": 3,
      "name": "Cohere Embed v4",
      "provider": "cohere",
      "model_name": "embed-v4.0",
      "dimension": 1536,
      "price_per_million_tokens": 0.12,
      "status": "completed",
      "metrics": {
        "hit_rate": 1,
        "recall": 1,
        "precision": 0.19999999999999962,
        "f1_score": 0.3333333333333329,
        "mrr": 0.9103333333333333,
        "ndcg": 0.9329564395195294
      },
      "correct_answers": 100,
      "hit_rate_at": {
        "1": 0.85,
        "2": 0.93,
        "3": 0.97,
        "4": 0.99,
        "5": 1
      },
      "rank_histogram": {
        "1": 85,
        "2": 8,
        "3": 4,
        "4": 2,
        "5": 1,
        "miss": 0
      },
      "scores": {
        "mean_relevant_score": 0.5770232629999998,
        "mean_top_distractor_score": 0.5054097570999998,
        "score_gap": 0.07161350590000001
      },
      "latency": {
        "embedding_ms_per_query": 15.562427728436887,
        "search_ms_p50": 10.378571460023522,
        "search_ms_p95": 13.210094254463911
      },
      "cost": {
        "corpus_tokens": 856262,
        "index_cost_usd": 0.10275144,
        "cost_per_1k_queries_usd": 0.0068712
      },
      "vector_storage_bytes": 11876352
    },
    {
      "rank": 4,
      "name": "Gemini Embedding 2",
      "provider": "google",
      "model_name": "gemini-embedding-2",
      "dimension": 3072,
      "price_per_million_tokens": 0.2,
      "status": "completed",
      "metrics": {
        "hit_rate": 0.98,
        "recall": 0.98,
        "precision": 0.19599999999999962,
        "f1_score": 0.3266666666666662,
        "mrr": 0.9066666666666666,
        "ndcg": 0.9257115704285747
      },
      "correct_answers": 98,
      "hit_rate_at": {
        "1": 0.84,
        "2": 0.96,
        "3": 0.98,
        "4": 0.98,
        "5": 0.98
      },
      "rank_histogram": {
        "1": 84,
        "2": 12,
        "3": 2,
        "4": 0,
        "5": 0,
        "miss": 2
      },
      "scores": {
        "mean_relevant_score": 0.8026213647959185,
        "mean_top_distractor_score": 0.7608319187999999,
        "score_gap": 0.042156106326530614
      },
      "latency": {
        "embedding_ms_per_query": 42.05399008002132,
        "search_ms_p50": 18.89295387081802,
        "search_ms_p95": 38.491560635156915
      },
      "cost": {
        "corpus_tokens": 856262,
        "index_cost_usd": 0.17125240000000003,
        "cost_per_1k_queries_usd": 0.011452
      },
      "vector_storage_bytes": 23752704
    },
    {
      "rank": 5,
      "name": "Cohere Embed Multilingual v3",
      "provider": "cohere",
      "model_name": "embed-multilingual-v3.0",
      "dimension": 1024,
      "price_per_million_tokens": 0.1,
      "status": "completed",
      "metrics": {
        "hit_rate": 0.96,
        "recall": 0.96,
        "precision": 0.19199999999999964,
        "f1_score": 0.31999999999999956,
        "mrr": 0.8865000000000001,
        "ndcg": 0.9051367970825701
      },
      "correct_answers": 96,
      "hit_rate_at": {
        "1": 0.83,
        "2": 0.93,
        "3": 0.93,
        "4": 0.94,
        "5": 0.96
      },
      "rank_histogram": {
        "1": 83,
        "2": 10,
        "3": 0,
        "4": 1,
        "5": 2,
        "miss": 4
      },
      "scores": {
        "mean_relevant_score": 0.738491239375,
        "mean_top_distractor_score": 0.6834493751,
        "score_gap": 0.056254620312499976
      },
      "latency": {
        "embedding_ms_per_query": 5.48249825835228,
        "search_ms_p50": 15.833711018785834,
        "search_ms_p95": 65.97786908969282
      },
      "cost": {
        "corpus_tokens": 760122,
        "index_cost_usd": 0.0760122,
        "cost_per_1k_queries_usd": 0.005726
      },
      "vector_storage_bytes": 7917568
    },
    {
      "rank": 6,
      "name": "OpenAI text-embedding-3-large",
      "provider": "openai",
      "model_name": "text-embedding-3-large",
      "dimension": 3072,
      "price_per_million_tokens": 0.13,
      "status": "completed",
      "metrics": {
        "hit_rate": 0.98,
        "recall": 0.98,
        "precision": 0.19599999999999962,
        "f1_score": 0.3266666666666662,
        "mrr": 0.882,
        "ndcg": 0.9068843321266732
      },
      "correct_answers": 98,
      "hit_rate_at": {
        "1": 0.81,
        "2": 0.92,
        "3": 0.95,
        "4": 0.97,
        "5": 0.98
      },
      "rank_histogram": {
        "1": 81,
        "2": 11,
        "3": 3,
        "4": 2,
        "5": 1,
        "miss": 2
      },
      "scores": {
        "mean_relevant_score": 0.6103312207142857,
        "mean_top_distractor_score": 0.547047537,
        "score_gap": 0.0644491468367347
      },
      "latency": {
        "embedding_ms_per_query": 12.426023879088461,
        "search_ms_p50": 23.36825500242412,
        "search_ms_p95": 45.68600810598581
      },
      "cost": {
        "corpus_tokens": 856262,
        "index_cost_usd": 0.11131405999999999,
        "cost_per_1k_queries_usd": 0.0074438
      },
      "vector_storage_bytes": 23752704
    },
    {
      "rank": 7,
      "name": "OpenAI text-embedding-3-small",
      "provider": "openai",
      "model_name": "text-embedding-3-small",
      "dimension": 1536,
      "price_per_million_tokens": 0.02,
      "status": "completed",
      "metrics": {
        "hit_rate": 0.92,
        "recall": 0.92,
        "precision": 0.18399999999999966,
        "f1_score": 0.30666666666666625,
        "mrr": 0.802,
        "ndcg": 0.8321986935723493
      },
      "correct_answers": 92,
      "hit_rate_at": {
        "1": 0.71,
        "2": 0.85,
        "3": 0.91,
        "4": 0.91,
        "5": 0.92
      },
      "rank_histogram": {
        "1": 71,
        "2": 14,
        "3": 6,
        "4": 0,
        "5": 1,
        "miss": 8
      },
      "scores": {
        "mean_relevant_score": 0.5605039708695653,
        "mean_top_distractor_score": 0.5110567945000003,
        "score_gap": 0.04806900358695653
      },
      "latency": {
        "embedding_ms_per_query": 4.221139498986304,
        "search_ms_p50": 12.185690458863974,
        "search_ms_p95": 21.792574273422357
      },
      "cost": {
        "corpus_tokens": 856262,
        "index_cost_usd": 0.01712524,
        "cost_per_1k_queries_usd": 0.0011452
      },
      "vector_storage_bytes": 11876352
    },
    {
      "rank": 8,
      "name": "BGE Base EN v1.5",
      "provider": "fireworks",
      "model_name": "BAAI/bge-base-en-v1.5",
      "dimension": 768,
      "price_per_million_tokens": 0.008,
      "status": "completed",
      "metrics": {
        "hit_rate": 0.12,
        "recall": 0.12,
        "precision": 0.024,
        "f1_score": 0.04000000000000001,
        "mrr": 0.0875,
        "ndcg": 0.09553889181363093
      },
      "correct_answers": 12,
      "hit_rate_at": {
        "1": 0.07,
        "2": 0.09,
        "3": 0.09,
        "4": 0.12,
        "5": 0.12
      },
      "rank_histogram": {
        "1": 7,
        "2": 2,
        "3": 0,
        "4": 3,
        "5": 0,
        "miss": 88
      },
      "scores": {
        "mean_relevant_score": 0.7189459,
        "mean_top_distractor_score": 0.7379772522,
        "score_gap": 0.013043083333333325
      },
      "latency": {
        "embedding_ms_per_query": 11.59247606061399,
        "search_ms_p50": 7.574931951239705,
        "search_ms_p95": 11.702920496463774
      },
      "cost": {
        "corpus_tokens": 613615,
        "index_cost_usd": 0.00490892,
        "cost_per_1k_queries_usd": 0.00045808
      },
      "vector_storage_bytes": 5938176
    }
  ],
  "questions": [
    {
      "question": "كيف تعمل المتغيرات داخل قوالب ويكيبيديا، وما نوع البيانات التي يمكن تغييرها من مقال إلى آخر؟",
      "expected_excerpt": "## قالب بمتغيرات يمكن لقالب أن يضم متغيرات تتغير قيمها حسب الصفحة التي يوجد بها القالب. الشيء الذي يمكن مثلًا من استعمال جدول يضم معلومات تتغير حسب المقال، انظر مثلًا: قالب:Demography 4col {| border=\"0\" width={{{1}}} cellspacing=\"2\" cellpadding=\"2\" | colspan=\"4\" bgcolor=\"#eeeeee\"",
      "first_relevant_rank": {
        "Voyage 4 Large": 1,
        "Qwen3 Embedding 8B": 1,
        "Cohere Embed v4": 4,
        "Gemini Embedding 2": 2,
        "Cohere Embed Multilingual v3": 5,
        "OpenAI text-embedding-3-large": 2,
        "OpenAI text-embedding-3-small": 3,
        "BGE Base EN v1.5": null
      }
    },
    {
      "question": "ما الحقول التي يمكن استخدامها للبحث في سجلات ويكيبيديا وتصفية نتائجها؟",
      "expected_excerpt": "نوع السجل المراد عرضه. بشكل افتراضي ، سيتم عرض جميع السجلات العامة، باستثناء سجلات الخفر والمراجعة والوسوم والشكر. يمكن تمكينها في \"إظهار السجلات الإضافية\" عند تحديد \"جميع السجلات العامة\". تم تعيين المثال لعرض سجل الحذف فقط، والذي يسرد عمليات حذف الصفحات واستعادتها. يتيح لك حقل ا",
      "first_relevant_rank": {
        "Voyage 4 Large": 1,
        "Qwen3 Embedding 8B": 3,
        "Cohere Embed v4": 5,
        "Gemini Embedding 2": 2,
        "Cohere Embed Multilingual v3": 1,
        "OpenAI text-embedding-3-large": 1,
        "OpenAI text-embedding-3-small": 1,
        "BGE Base EN v1.5": null
      }
    },
    {
      "question": "ما الظروف الصحية والمعيشية التي واجهها الأسرى الفلسطينيون خلال الإضراب؟",
      "expected_excerpt": "كما نقل الأسير مروان البرغوثي إلى المستشفى، إضافة إلى 120 أسيرا، وذلك بعد تدهور وضعهم الصحي. ومنذ 39 يوما، يرتدي الأسرى ملابس إدارة سجون الاحتلال (الشاباص)، ولا يملكون سوى أغطية قذرة وبالية، بعدما صادرت إدارة السجون مقتنياتهم منذ اليوم الأول من الإضراب، وفي زيارة أجراها محامي ناد",
      "first_relevant_rank": {
        "Voyage 4 Large": null,
        "Qwen3 Embedding 8B": 4,
        "Cohere Embed v4": 3,
        "Gemini Embedding 2": 2,
        "Cohere Embed Multilingual v3": 4,
        "OpenAI text-embedding-3-large": 3,
        "OpenAI text-embedding-3-small": null,
        "BGE Base EN v1.5": null
      }
    },
    {
      "question": "ما الهدف من القاموس الإلكتروني الخاص بلغة الأينو والجهات المشاركة في تطويره؟",
      "expected_excerpt": "الخميس 21 يوليو 2016 يسعى أحد القواميس الإلكترونية الناطقة الذي أطلق لأول مرة عام 2009 إلى المحافظة على لغة الأينو ونشرها؛ الأينو هي لغة السكان الأصليين في شمال شرق جزيرة هوكايدو اليابانية. وبحسب منظمة اليونسكو يوجد في اليابان حوالى ثمانى لغات مهددة بالانقراض، وتتصدر لغة الأينو ه",
      "first_relevant_rank": {
        "Voyage 4 Large": 1,
        "Qwen3 Embedding 8B": 1,
        "Cohere Embed v4": 1,
        "Gemini Embedding 2": 3,
        "Cohere Embed Multilingual v3": 1,
        "OpenAI text-embedding-3-large": 1,
        "OpenAI text-embedding-3-small": 2,
        "BGE Base EN v1.5": null
      }
    },
    {
      "question": "ما الدول الأوروبية الثماني التي طالبت إسرائيل بتعويضات عن منشآت هُدمت في المنطقة ج من الضفة الغربية؟",
      "expected_excerpt": "أعدت 8 دول أوروبية رسالة احتجاج تتضمن مطالبة الاحتلال \"الإسرائيلي\" بدفع تعويضات بقيمة 30 ألف يورو، مقابل مصادرة وتدمير مبان ومنشآت بنى تحتية أقامتها هذه الدول في المنطقة \"ج\" بالضفة الغربية. وبحسب ما نقلته صحيفة \"هآرتس\" العبرية عن دبلوماسي أوروبي كبير فإن الرسالة ستسلم إلى مسؤولين",
      "first_relevant_rank": {
        "Voyage 4 Large": 1,
        "Qwen3 Embedding 8B": 2,
        "Cohere Embed v4": 1,
        "Gemini Embedding 2": 1,
        "Cohere Embed Multilingual v3": 1,
        "OpenAI text-embedding-3-large": 1,
        "OpenAI text-embedding-3-small": 3,
        "BGE Base EN v1.5": null
      }
    },
    {
      "question": "ماذا تعني رسالة \"توقيع خام غير صالح\" في إعدادات توقيع ويكيبيديا؟",
      "expected_excerpt": "[[مستخدم:مثال|مثال مستخدم]]: [[نقاش المستخدم:مثال|نقاش]] سيؤدي ذلك إلى ظهور توقيع يبدو مثل: [[مستخدم:مثال|مثال مستخدم]]: [[نقاش المستخدم:مثال|نقاش]] (نقاش) بدلاً من مثال مستخدم: نقاش يرجع السبب في ذلك إلى أن نص ويكي (وترميز HTML) يجري الآن إفلاته ككيانات HTML عند وضعه في حقل التو",
      "first_relevant_rank": {
        "Voyage 4 Large": 1,
        "Qwen3 Embedding 8B": 1,
        "Cohere Embed v4": 1,
        "Gemini Embedding 2": 1,
        "Cohere Embed Multilingual v3": 5,
        "OpenAI text-embedding-3-large": 1,
        "OpenAI text-embedding-3-small": 3,
        "BGE Base EN v1.5": null
      }
    },
    {
      "question": "ما أبرز الأوامر الملكية السعودية التي ذُكرت باعتبارها ذات فائدة اقتصادية للمواطنين؟",
      "expected_excerpt": "«ترجمة:أصدر العاهل السعودي مجموعة من الأوامر الملكية التي تعود بالفائدة اقتصادياَ على الشعب السعودي، ومنها: مكافآت مالية وتحديد حد أدنى لأجور السعوديين وغيرها. من سلطان القاسمي.» «النص الأصلي:@Saudiwoman: 16billion to health ministry to build cancer units and other specialized un",
      "first_relevant_rank": {
        "Voyage 4 Large": 1,
        "Qwen3 Embedding 8B": 1,
        "Cohere Embed v4": 3,
        "Gemini Embedding 2": 1,
        "Cohere Embed Multilingual v3": 1,
        "OpenAI text-embedding-3-large": 1,
        "OpenAI text-embedding-3-small": 2,
        "BGE Base EN v1.5": null
      }
    },
    {
      "question": "ما أنواع الأحداث التي يمكن للمستخدم تلقي إشعارات عنها عبر البريد الإلكتروني في ويكيبيديا؟",
      "expected_excerpt": "تتوفر إشعارات البريد الإلكتروني للرسائل المتبقية على صفحة نقاش المستخدم الخاصة بك، عندما تتم الإشارة إليك أو شكرك، عندما يقوم شخص ما بربط أو مراجعة صفحة قمت بإنشائها، عندما يقوم شخص ما بتغيير صلاحيات المستخدم الخاصة بك، ومحاولات تسجيل الدخول الفاشلة، وعمليات تسجيل الدخول الناجحة ",
      "first_relevant_rank": {
        "Voyage 4 Large": 1,
        "Qwen3 Embedding 8B": 2,
        "Cohere Embed v4": 2,
        "Gemini Embedding 2": 1,
        "Cohere Embed Multilingual v3": null,
        "OpenAI text-embedding-3-large": 1,
        "OpenAI text-embedding-3-small": 3,
        "BGE Base EN v1.5": null
      }
    }
  ]
}
