اعداد ملف robots وشرح كافة خصائصة ومميزاته,عمل ملف روبوتس,طريقة عمل ملف روبوتس,نخبة ا

بسم الله الرحمن الرحيم

السلام عليكم

http://cdn1.iconfinder.com/data/icon...y_computer.png

ملف robots.txt هو ملف مهم جدا بالنسبه للمواقع وهو عباره عن ملف يتحكم بمحركات البحث وكيف تدخل الموقع والتحكم بصلاحية بعض الملفات التي لا تريد ان يتم ارشفتها وايضا التحكم بالملفات التي تريد ارشفتها حيث بعض اصحاب المواقع لديهم بعض الاقسام في الموقع او المنتدى لا يريدون ارشفتها بسبب المحتوى المتكرر او اي سبب اخر او تكون اقسام خاصه وايضا لملف robots.txt فائده ثانية وهي تقليل استهلاك الباندويث للموقع ، بما انه سوف نقوم بحجب بعض الاقسام من الارشفه اي لا تستطيع دخولها عناكب البحث وسوف اقوم بشرح هذا الملف بشكل كامل وكيفيه انشاء الملف ورفعه في الموقع

http://cdn2.iconfinder.com/data/icon...ces-system.png
اولا انشاء ملف robots.txt

يمكن انشاء هذا الملف بواسطه المفكره او اي برنامج تحرير نصوص ، سوف نحفظ الملف بهذا الاسم robots.txt ، ثم نكتب في داخل الملف العبارات التالية وسيتم شرحها بصوره مفصله

http://cdn2.iconfinder.com/data/icon...cation-xml.png

اولا
كود PHP:

User-agent: *

كود توجية محركات البحث الى موقعك وقد وضعت علامه النجمه والتي تدل على توجية كافه محركات البحث الى موقعك مثل ياهو و bing و كوكل وغيرها بدل ان نكتب عناكب كل موقع فوضعنا النجمه للتسهيل
ثانيا
كود PHP:

Disallow:

وهذا الكود يقوم بمنع محركات البحث بأرشفه بعض الملفات التي يتم تحديدها لاسباب معينة مثلا اقسام خاصه في المنتدى او اي شيء

ولمنع الارشفه على بعض الملفات نكتبها بهذا الشكل
كود PHP:

Disallow: /vb/قسم معين Disallow: /vb/sds Disallow: /fdfdsda Disallow: /343 Disallow: /vb/admin

وغيرها من الملفات التي لا نرغب بأرشفتها

ثالثا
كود PHP:

Allow:

هذا الكود يسمح لعناكب البحث بدخول مجلدات معينة يعني نحدد له المجلدات المسموح دخول عناكب البحث لها لائرشفتها
مثلا نحدد له الدخول لمجلدات الموقع التالية ويتم تغيرها حسب كل موقع

كود PHP:

Allow: /vb Allow: /up Allow: /iraq

ويمكن كتابه ما نشاء من الملفات المسووح دخولها

رابعا
كود PHP:

Sitemap:

وهو خاص بال***ئط لتوجية عناكب البحث للموقع بصوره اسرع وهناك العديد من المواقع تقوم بعمل ***ئط لموقعك وصيغه ملف الخريطه هو XML او txt او gz، وعند عمل الخريطه ترفع الى الموقع ونضع مسارها في ملف robots ويمكن عمل اكثر من ملف sitemap ورفعه ووضع رابطه داخل ملف robots.txt

بعد الانتهاء نقوم برفع المف الى دليل الدليل الرئيسي للموقع يعني في ملف Public_html او www حسب الاستضافه فيكون رابطه www.000000.com/robots.txt الـ 000000 هو رابط موقعك

http://cdn2.iconfinder.com/data/icon...apps/alert.png

بعض الملاحظات المهمه
اولا
بالنسبه للمنتديات نقوم بأضافه هذه الاسطر للملف

كود PHP:

Disallow: /vb/announcement.php Disallow: /vb/calendar.php Disallow: /vb/cron.php Disallow: /vb/editpost.php Disallow: /vb/faq.php Disallow: /vb/joinrequests.php Disallow: /vb/login.php Disallow: /vb/misc.php Disallow: /vb/moderator.php Disallow: /vb/newreply.php Disallow: /vb/newthread.php Disallow: /vb/online.php Disallow: /vb/attachment.php Disallow: /vb/private.php Disallow: /vb/profile.php Disallow: /vb/register.php Disallow: /vb/search.php Disallow: /vb/sendmessage.php Disallow: /vb/showgroups.php Disallow: /vb/showpost.php Disallow: /vb/subscription.php Disallow: /vb/subscriptions.php Disallow: /vb/threadrate.php Disallow: /vb/usercp.php Disallow: /vb/payments.php Disallow: /vb/memberlist.php Disallow: /vb/image.php Disallow: /vb/images/

ونغير ملف الصوره حسب ملف الاستايل

ثانيا
يمكن الاستغناء عن Allow: والاكتفاء بكتابه Disallow: لكن الافضل كتابه Allow: لجعل الارشفه افضل واسرع

ثالثا
يحتوي ملف robots.txt على ضرر معين ويمكن معالجته بسهوله ، حيث ملف robots.txt يقوم بعرض مجلدات الموقع عند كتابتها من قبلنا المسموح بها والمحضوره ولو اردنا ان نقوم باخفاء بعض المجلدات الخاصه والتي لا نري اي شخص يدخلها لا نقوم بكتابتها داخل ملف robots.txt بل نضع عليها جدار ناري لحمايتها

رابعا
التأكد من ملف robots.txt بأنه خالي من الاخطاء
لجعل الارشفه بصوره صحية وجلب العناكب الى مواقعنا ، بعد اعداد ملف robots.txt نقوم بفحصه من الاخطاء عن طريق الموقع التالي ( اضغط هنا ) بعد الدخول الى الموقع نضع رابط الموقع www.000000.com/robots.txt الـ 000000 هو رابط موقعك داخل المستطيل ونضغط على Check robots.txt وسيتم فحص الملف من الاخطاء
تم الشرح من قبل اخوكم

خليل جابر \\ Support