اضافه کردن سایت خوددانستن تفاوت میان فایل Robots.txt و تگ <META> ی Robots برای سئو و همینطور امنیت حیاتی به نظر می رسد.به علاوه این قضیه می تواند تاثیر بسزایی بر حریم امنیتی وب سایت شما و همینطور مشتریان داشته باشد.ابتدا به معرفی فایل Robots.txt و تگ <META> ی Robots می پردازیم :
Robots.txt
این فایل، فایلی است که شما در یک دایرکتوری سطح بالا از وب سایت خود قرار می دهید ، در همان پوشه ای که یک homepage استاتیک قرار میگیرد.در داخل این فایل، می توانید با رد کردن نام فایل ها و دایرکتوری ها ، به موتور های جستجو یاد بدهید که محتوا را نخزند.در دستورالعمل این فایل دو قسمت وجود دارد ، کاربر عامل و یک یا دستورالعمل های رد شده ی بیشتر.
کاربر عامل یک یا همه ی عنکبوت های وب را شناسایی می کند . منظور ما از Web Crawlers همان Google و Bing است ،اگرچه یک عنکبوت از هرجایی می تواند بیاید،نه فقط موتور های جستجو و در حال حاظر تعداد زیادی از آن ها در حال خزیدن در اینترنت هستند.
بقیه در ادامه مطلب
اگر قبلا ثبت نام کرديد ميتوانيد از فرم زير وارد شويد و مطلب رو مشاهده نماييد !
هاست اشتراکی چیست ؟