تحليل سجلات الخادم (Log File Analysis): كيف تكشف “الحقيقة” المخفية عن زحف جوجل وتحسن “ميزانية الزحف” (Crawl Budget)؟ 2026

تحليل سجلات الخادم (Log File Analysis): كيف تكشف “الحقيقة” المخفية عن زحف جوجل وتحسن “ميزانية الزحف” (Crawl Budget)؟ 2026

المقدمة: ما هو ملف الـ Log؟

– هو ملف نصي (Text File) يسجله الخادم (Apache, Nginx) تلقائياً

– يسجل كل “طلب” (Request)

مثال لسطر واحد:

`66.249.66.1 – – [10/Oct/2023:13:55:36 +0000] “GET /products HTTP/1.1” 200 1024 “-” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”`

– هذا السطر يحوي: IP الزائر، التاريخ، نوع الطلب (GET)، الصفحة المطلوبة (/products)، الكود (200)، حجم الصفحة، والـ User Agent (Googlebot)

المحور الأول: ما هي “ميزانية الزحف” (Crawl Budget)؟

– ليست “مالاً”. هي “وقت وجهد” جوجل

– جوجل تحدد لكل موقع “عدد صفحات” تزحفها يومياً

– المواقع الصغيرة: لا مشكلة لديهم (جوجل تزحف للكل)

– المواقع الكبيرة (100,000+ صفحة): مشكلة كبيرة. جوجل تزحف لـ 10% فقط

الهدف: جعل جوجل تزحف للصفحات “المهمة” وتتجاهل “القمامة”

عوامل تحديد الميزانية:

المحور الثاني: التحقق من “هوية” جوجل (Verifying Googlebot)

مشكلة كبيرة: أي شخص يمكنه تسمية برنامجه “Googlebot” في الـ User Agent

– اللصوص، السبامرز، وأدوات الاست scraping تستخدم هذا للدخول

– إذا حسبت الزحف بناءً على الـ User Agent فقط، ستحصل على أرقام خاطئة

الحل (DNS Verification):

1. خذ الـ IP من الـ Log

2. قم بـ Reverse DNS Lookup

3. يجب أن يعود الناتج: `crawl-66-249-66-1.googlebot.com`

4. ثم قم بـ Forward DNS للتأكد

أدوات مثل “Screaming Frog Log File Analyzer” تقوم بذلك تلقائياً

المحور الثالث: ماذا نبحث في الـ Logs؟ (Key Metrics)

1. الزحف حسب نوع المحتوى (Crawl by Content Type):

– هل جوجل تزحف لملفات CSS و JS أكثر من صفحات المنتجات؟

– هل تزحف لصفحات “البحث الداخلي” (Search Results) أو “الترشيحات” (Filters)؟ هذه صفحات “مستنقع” لا يجب أن تُزحف

2. أكواد الاستجابة (Status Codes):

– 200: مثالي

– 301/302: redirects تستهلك ميزانية الزحف. جوجل تتبعها وتأخذ وقتاً

– 404: صفحات مكسورة. إذا كانت جوجل تزحف لـ 1000 صفحة 404 يومياً، فهذا هدر

– 5xx: أخطاء سيرفر. خطيرة جداً. تقلل “سرعة الزحف” (Crawl Rate)

3. الصفحات غير المزحوفة (Uncrawled Pages):

– قارن قائمة الـ URLs في Sitemap مع الـ URLs في الـ Log

– صفحات موجودة في Sitemap ولم تزحفها جوجل = مشكلة في “الأولوية”

– صفحات مزحوفة وليست في Sitemap = اكتشاف ذاتي (جيد أو سيء حسب المحتوى)

المحور الرابع: استراتيجيات تحسين الميزانية (Optimization Strategies)

1. إغلاق “مستنقعات الزحف” (Crawl Traps):

• صفحات الترقيم (Pagination): لا تدع جوجل تزحف لـ 1000 صفحة ترقيم (`page=1000`). استخدم `rel=”next”` و `rel=”prev”` أو `Noindex` للصفحات العميقة
• معاملات البحث (Parameters): `?color=red`, `?sort=price`. استخدم “URL Parameters Tool” في Search Console لتخبر جوجل: “لا تزحف لهذه المعاملات”
• التقويمات: تقويم لا نهائي (Infinite Calendar)

2. تحسين سرعة الخادم (Server Performance):

– TTFB (Time to First Byte) يجب أن يكون أقل من 200ms

– استخدام CDN (Cloudflare) يخفف الحمل ويزيد سرعة الزحف

3. تحديث Sitemap:

– ضع فقط الصفحات “المهمة”

– لا تملأه بصفحات 404 أو صفحات ضعيفة

Sitemap هو “بطاقة العشاء” لجوجل. لا تدعها تدفع ثمن وجبة لا تأكلها

المحور الخامس: تحليل الـ “Hits” مقابل “Sessions”

– Hits: عدد الطلبات. (الصورة الواحدة = Hit واحد)

– Sessions: زيارة كاملة

التركيز على Sessions أهم. جوجل تزور موقعك، وتأخذ “لقيمات” (Pages)

Active vs Passive Crawling:

– Active: جوجل تأتي بمفردها (اكتشاف روابط)

– Passive: جوجل تأتي بسبب Sitemap أو طلب Indexing

المحور السادس: الأدوات والتنفيذ (Tools)

– Get the Logs: من استضافة موقعك (cPanel, AWS S3)

– Analyze:

1. Screaming Frog Log File Analyzer: الأشهر والأسهل

2. Splunk: لتحليلات متقدمة وكبيرة

3. ELK Stack (Elasticsearch, Logstash, Kibana): للمواقع الضخمة (مستوى Enterprise)

4. Excel/Google Sheets: (للبيانات الصغيرة)

المحور السابع: الأسئلة الشائعة حول تحليل السجلات

آخر تحديث للمقال: 18 سبتمبر 2026