-->

تعرف علي Googlebot ، robots.txt ، Sitemap

;


هل وجدت نفسك تصل إلى مرحلة من النمو كصاحب موقع في مجال معين أنت إخترته ؟

سيأخذك المحتوى الجيد والروابط عالية الجودة إلى حد بعيد في تحسين موقعك في محركات البحث ، ولكن لا ينبغي أبدًا تجاهل قوة SEO في تصدر موقعك في المجال التي تتخصص فيه .

من أهم المهارات التي يجب تعلمها لعام 2019 هو كيفية إستخدام SEO الفني للتفكير مثل برنامج الزحف Googlebot الخاص بشركة google .

قبل الغوص في هذا النقاش الممتع ، من المهم أن نفهم ما هو برنامج Googlebot وكيف يعمل ولماذا نحتاج إلى فهمه .



ما هو Googlebot؟

Googlebot عبارة عن زاحف ويب (مثل a.k.a أو robot أو spider) يقوم بكشف البيانات في صفحات الويب ، و هو واحد من العديد من برامج زحف الموجودة في الويب ، حيث كل محرك بحث له برنامج عنكبوت خاص به ، في عالم كبار المسئولين الاقتصاديين ، نشير إلى أسماء بوت ذات العلامات التجارية هذه على أنها "وكلاء مستخدم" .

ما عليك سوى فهم أننا نشير إلى وكلاء المستخدمين كروبوت تتبع زحف معين ، تتضمن بعض أكثر وكلاء المستخدمين شيوعًا لبرامج الزحف ما ك :

- Googlebot - Google
- بينجبوت - bing
- سلور بوت - yahho
- أليكسا الزاحف - amazon alexa
- DuckDuckBot - DuckDuckGo

كيف يعمل Googlebot؟

لا يمكننا البدء في تحسين Googlebot في الموقع حتى نفهم كيف يكتشف هذا الأخير صفحات الويب ويقرأها ويرتبها .

بإجابة مختصرة : عن طريق الإرتباطات داخل صفحات الموقع ، ملفات Sitemap ، وجلب الطلبات .

بإجابة طويلة : إن أسرع طريقة لجعل Google تزحف إلى موقعك هي إنشاء موقع جديد وإضافته الي Search Console وإرسال ملف sitemap الخاص بالموقع .

على الرغم من أن ملفات sitemap تعد طريقة رائعة لجلب موقعك الي Google أو أي محرك بحث أخر ، إلا أن هذا لا يمثل حسابًا على نظام ترتيب الصفحات .

الربط الداخلي هو طريقة موصى بها لإخبار Google بالصفحات ذات الصلة والقيمة ، هناك العديد من المقالات الرائعة التي يتم نشرها عبر الويب حول ترتيب الصفحات وطريقة الربط الداخلي بينها .

يمكن أن تكتشف Google أيضًا صفحات الويب الخاصة بك من قوائم Google My Business ، والأدلة ، والروابط من مواقع الويب الأخرى .

كيف يقرأ Googlebot صفحات الويب

لقد قطعت Google شوطا طويلا في تحسين محرك البحث الخاص بهم ، يتمثل هدف Googlebot في عرض صفحة الويب بالطريقة نفسها التي يراها المستخدم عند طلبه لموقع معين في محرك البحث .

لإختبار كيفية عرض Google لصفحتك ، تحقق من أداة الجلب في Search Console ، سيعطيك هذا طريقة عرض Googlebot لموقعك مقابل عرض المستخدم ، يفيد ذلك في معرفة كيف يقوم Googlebot بمشاهدة صفحات الويب الخاصة بك عند أرشفتها .

من المفترض أن تساعدك إرشادات تحسين Googlebot التالية في فهم بعض الأمور المبهمة لطريقة ضهور موقعك في محركات البحث .

Robots.txt

ملف robots.txt هو ملف نصي يتم وضعه في دليل الجذر لموقع الويب الخاص بك ، وهذه واحدة من أولى الأشياء التي يبحث عنها Googlebot عند الزحف إلى موقعك ، يوصى بشدة بإضافة ملف robots.txt إلى موقعك وتضمين رابطًا إلى ملف sitemap.xml الخاص بك .

هناك العديد من الطرق لتحسين ملف robots.txt ، ولكن من المهم توخي الحذر عند القيام بذلك ، حيث قد يطرح مطوّر البرامج بدون قصد رفضً أمر على مستوى الموقع في ملف robots.text ، مما يحظر جميع محركات البحث من الزحف إلى موقعك عند نقل موقع مطور إلى الموقع المباشر ، حتى بعد تصحيح ذلك ، قد يستغرق الأمر بضعة أسابيع حتى تعود الزيارات و الأمور الي حالتها الطبيعية .

يوجد ملف روبوت شائع يستخدم لجميع المواقع وهو :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.shamelnet48.com/sitemap.xml
سوف نحلل الكود ونري طريقة عمله

User-agent: Mediapartners-Google

هذا الكود خاص بالأعلانات الخاصة بجوجل ولا ينصح بحذفه إذا كنت تستعمل google adsence في موقعك

Disallow: /search
Disallow: /p/contact-us.html

وهو أمر لمنع الزاحف بالزحف الي صفحات معينة في الموقع وسوف تلاحض الأمر /search أو p/ قبل Disallow ، حيث هو بادئة عنوان URL بعدالرابط الخاص بالموقع ، وهو الخاص بأقسام الموقع في مدونات البلوجر أو الووردبريس .

أو كتابة الرابط الخاص بالصفحة التي لاتريد من عناكب البحث الوصول اليها كالتالي :

Disallow: /2019/01/Best-laptops-with-a-RTX-2080-graphics-processor.html

/ :Allow

عكس الكود السابق وهو يطلب من عناكب البحث بأرشفة الصفحات الخاصة بالموقع والصفحة الرئيسية للموقع

Sitemap: https://www.shamelnet48.com/sitemap.xml

وهو رابط Sitemap الخاص بموقعك
هناك العديد من النصائح والبرامج التعليمية حول كيفية تحسين ملف robots.txt الخاص بك ، قم بأبحاثك قبل محاولة تحرير ملفك .

Sitemap.xml

تعد ملفات Sitemap إحدى الطرق الرئيسية التي يستخدمها برنامج Googlebot للعثور على صفحات موقعك على الويب وتعتبر عامل ترتيب مهمً .


في ما يلي بعض النصائح حول تحسين ملفات sitemap وبعض النصائح الأخري :

- ليس هناك سوى فهرس Sitemap واحد يضاف الي محرك البحث .
- يمكنك وضع مدونات منفصلة وصفحات عامة في ملفات sitemap منفصلة ، ثم أربطها بتلك الموجودة في فهرس Sitemap.
- لا تجعل كل صفحة واحدة ذات أولوية عالية .
- أزل صفحة 404 و 301 من ملف sitemap .
- أرسل ملف sitemap.xml إلى Google Search Console أو أي محرك بحث آخر وراقب الزحف .

سرعة الموقع

أصبحت سرعة تحميل الموقع واحدة من أهم عوامل الترتيب ، خاصة بالنسبة للأجهزة المحمولة ، إذا كانت سرعة تحميل موقعك بطيئة للغاية ، فقد يخفض Googlebot تصنيفاتك في محرك البحث .

من الطرق السهلة لمعرفة ما إذا كان Googlebot يعتقد أن تحميل موقعك على الويب بطيئًا جدًا هو إختبار سرعة موقعك باستخدام أيٍّ من الأدوات المجانية المتوفرة علي الأنترنيت .

سيوفر العديد من هذه الأدوات توصيات يمكنك إستخدامها لتسريع موقعك .

Schema أو المخطط

يمكن أن تساعد إضافة البيانات المنظمة إلى موقعك على الويب في مساعدة Googlebot على فهم سياق صفحات الويب والموقع الإلكتروني ككل بشكل أفضل ، ومع ذلك ، من المهم اتباع إرشادات Google.

لتحقيق الكفاءة ، يوصى باستخدام JSON-LD لتطبيق ترميز البيانات المنظمة ، لاحظت Google أن ترميز JSON-LD هي لغة الترميز المفضلة لديهم .

صفحات الويب المكررة

هناك مشكلة كبيرة للمواقع الكبيرة ، خاصةً التجارة الإلكترونية ، وهي مشكلة صفحات الويب المكررة .

هناك العديد من الأسباب العملية لوجود صفحات ويب مكررة ، مثل صفحات لغة مختلفة .

إذا كنت تدير موقعًا ذا صفحات مكررة ، فمن المهم تحديد صفحة الويب المفضلة لديك بإستخدام علامة أساسية وسم hreflang .

تصنيف URL

وجود بنية عنوان URL نظيفة ومحددة يؤدي إلى تصنيفات أعلى وتحسين تجربة المستخدم ، حيث يتيح تعيين الصفحات الرئيسية لبرنامج Googlebot فهم علاقة كل صفحة بشكل أفضل .

ومع ذلك ، إذا كانت لديك صفحات قديمة نوعًا ما وتصنيفها جيدًا ، فلا يوصي Google Mueller بتغيير عنوان URL ، حيث تصنيف عنوان URL النظيف هو في الحقيقة أمر يجب إنشاؤه من بداية تطوير الموقع .

إذا كنت تعتقد تمامًا أن تحسين عناوين URL سيساعد موقعك ، فتأكد من إعداد عمليات إعادة توجيه 301 مناسبة وتحديث sitemap.xml .

تحميل جافا سكريبت

في حين أن صفحات HTML الثابتة يمكن تصنيفها بشكل أسهل ، إلا أن جافا سكريبت تسمح لمواقع الويب بتقديم تجارب أكثر إبداعًا للمستخدم من خلال عملية التحفيز الديناميكي ، في عام 2018 وضعت Google الكثير من الموارد لتحسين عرض جافا سكريبت .

في جلسة أسئلة وأجوبة مؤخرًا مع جون مولر ، ذكر Mueller أن Google تخطط لمواصلة التركيز على عرض جافا سكريبت في 2019 ، إذا كان موقعك يعتمد بشدة على العرض الديناميكي عبر JavaScript ، فتأكد من أن مطوري البرامج يتابعون توصيات Google بشأن أفضل الممارسات .

الصور

تلمح Google إلى أهمية تحسين الصورة لفترة طويلة ، ولكنها تحدثت عنها كثيرًا في الأشهر الأخيرة ، يمكن أن يساعد تحسين الصور Googlebot على تحديد كيفية إرتباط صورك بالمحتوى وتحسينه.

إذا كنت تبحث عن بعض المكاسب السريعة في تحسين صورك ، فإنني أوصي بما يلي:

- تحديد إسم ملف الصورة ، وقم بوصف ما تحتوي عليه الصورة بأقل عدد ممكن من الكلمات.
- النص البديل للصورة ، بينما يمكنك نسخ إسم ملف الصورة ، يمكنك أيضًا استخدام المزيد من الكلمات هنا.
- البيانات المنظمة، يمكنك إضافة ترميز المخطط لوصف الصور على الصفحة.
- ملف Sitemap للصور ، حيث توصي Google بإضافة ملف sitemap منفصل لها للزحف إلى صورك .

روابط مكسورة وإعادة توجيه

نعلم جميعًا أن الروابط المعطلة سيئة ، من خلال مزيج من المعلومات ، أعتقد أنه ينبغي لنا أن نلعب بطريقة آمنة وننظف جميع الروابط المعطلة في الموقع ، تحقق من Google Search Console أو أداة الزحف المفضلة للعثور على الروابط المعطلة على موقعك أو إستخدام موقع يتيح لك ذلك .


ليست هناك تعليقات