إزالة مشكلة تمت الفهرسة ولكن يتم الحضر باستخدام robos.txt

طريقة حل مشكلة تمت الفهرسة ولكن يتم الحضر باستخدام robots.txt إذا تمت الفهرسة لصفحة معينة على محرك البحث، ولكن يتم منعها من الوصول إلى الصفحة باستخدام ملف robots.txt، فهذا يشكل مشكلة. الصفحات التي يتم حظرها بواسطة robots.txt لا يمكن لمحركات البحث عرضها أو تعقبها، وبالتالي فإن الفهرسة لا تفيد في هذه الحالة.
اسباب مشكلة تمت الفهرسة، ولكن يتم الحضر باستخدام robots.txt
قد يكون هناك عدة أسباب لحدوث هذه المشكلة، من أهمها:
1. خطأ في تنسيق ملف robots.txt: قد يتم كتابة قاعدة الحظر بشكل غير صحيح في ملف robots.txt، وبالتالي يتم تطبيق الحظر على صفحة أو مجموعة صفحات يتم تطبيق الفهرسة عليها أيضًا.
2. التعديلات الخاطئة على ملف robots.txt: قد يتم تعديل ملف robots.txt بشكل غير مقصود مما يؤدي إلى حظر الوصول إلى صفحة تمت الفهرسة.
3. بطء تحديثات ملف robots.txt: قد يستغرق محرك البحث بعض الوقت لتحديث قواعد الحظر في ملف robots.txt، وبالتالي فإن الفهرسة قد تحدث قبل حظر الوصول إلى الصفحة.
4. عدم حذف قواعد الحظر القديمة: قد يتم إضافة قواعد اجتماعية في ملف robots.txt لمنع صفحات معينة قبل تنفيذ الفهرسة عليها. ولكن إذا تم إزالة هذه القواعد بعد الفهرسة، قد لا يتم تحديث قواعد الحظر وبالتالي قد يتم حظر الوصول إلى الصفحة رغم أنها تمت الفهرسة.
لحل هذه المشكلة، يجب مراجعة وتحليل ملف robots.txt والتأكد من أنه لا يتم حظر الوصول إلى الصفحة المطلوبة بشكل غير مقصود. كما يجب متابعة تحديثات محرك البحث للتأكد من أن أي تعديلات تم إجراؤها على ملف robots.txt قد تم تنفيذها بشكل صحيح.
حل مشكلة تمت الفهرسة، ولكن يتم الحضر باستخدام robots.txt
لحل مشكلة تمت الفهرسة ولكن الوصول إليها ممنوع باستخدام ملف robots.txt، يمكن اتباع الخطوات التالية:
1. التحقق من ملف robots.txt: تأكد من وجود ملف robots.txt في جذر موقع الويب الخاص بك. يجب أن يكون المسار الصحيح للوصول إلى الملف هو "https://example.com/robots.txt" (يستبدل example.com بعنوان موقعك الفعلي).
2. التحقق من إعدادات الملف: تأكد من أنه لا يوجد أي تعليمات في ملف robots.txt تمنع الوصول إلى الصفحات التي تمت الفهرسة. يجب أن يكون محتوى الملف مفتوح الوصول لروبوتات محركات البحث. يمكن استخدام التعليمة "User-agent: *" لتحديد تعليمات لجميع روبوتات محركات البحث.
3. تحديث ملف robots.txt: إذا وجدت أي تعليمات تمنع الوصول إلى الصفحات المؤرشفة، يجب إزالتها من ملف robots.txt. للقيام بذلك، يمكنك تحرير الملف باستخدام أداة النصوص المفتوحة المصدر مثل Notepad++ أو Sublime Text، ثم حفظ التغييرات.
4. إعادة فحص الموقع: يمكنك الآن جدد فهرست الموقع عن طريق إعادة طلب تفحصه من قبل محركات البحث. يمكنك ذلك عن طريق إدخال "site:example.com" في محرك البحث. قم بتغيير "example.com" ليكون عنوان موقعك الفعلي.
بعد اتخاذ هذه الإجراءات، يجب أن يكون المحتوى الذي تم فهرسته متاحًا لمحركات البحث للوصول إليه وعرضه في نتائج البحث.
1- توجة الي المدونة . المظهر .تعديل html .
ابحث عن <head>
وتضيف هذا الكود اسفل <head>
<b:if cond='data:blog.searchLabel'><meta content='noindex,nofollow' name='robots'/></b:if>

2- ازل من ملف الريبوت Disallow: /search
توجة الي المدونة .الاعدادت .تفضيلات البحث . ملف robots.txt مخصص
ثم ازل Disallow: /search

افضل ملف robots.txt يمكنك تطبيقة بدون مشاكل
User-agent: *Allow: /Sitemap: https://soft-joo.blogspot.com/sitemap.xml
ثم حفظ ومبروك عليك تم حل المشكلة

لا تبخل علينا بكلمة شكر
9 تعليقات
هل هناك حل لمشكلة " مستبعد" كما هو واضح في الصورة المرفقة في الموضع أعلاه ..؟؟ ما الحل.؟؟
ردحذفهل هناك حل لمشكلة مُستبعد كما هو واضح في الصورة المرفقة في الموضوع نفسه في الأعلي ؟؟ ما الحل؟؟
ردحذفقمت سابقاً بتفعيل خيارات الريبوت كما هو واضح في الرابط المرفق .. فقد فعلت عدم أرشفة الارشيف والصفحات وغيرها من الخيارات الأخري .. ولكن حينها ظهرت لي مشكلة (صالحة ولكن تتضمن تحذيراً) كما هو واضح في الصورة المرفقة أعلاه .. وبالفعل قمت بإيقاف تلك الخاصية .. فما الحل لمستبعد غير تلك الطريقة ؟ شكرا
ردحذفشكرا على الشرح
ردحذفشكرا لمرور حضرتك
ردحذفالله ينور عليك ياكبير استمر
ردحذفلو أمكن عايز اتكلم معاك شوية شوف وابعتلي رسالة
ردحذفmobd3 خير اخي ابعت لي رسالة علي الفيس او علي الاميل
ردحذفانا بعتلك رسالة ع الميل اما تقرها رد عليها
ردحذف