معمولا موتورهای جستجو سایت شما را می خزند تا بتوانند محتوای موجود در آن را بیابند و ایندکس کنند. هرچقدر سایت شما بزرگ تر باشد، زمان خزیدن آن نیز طولانی تر خواهد بود. به عنوان مثال اگر سایت شما ۱۰۰۰ صفحه یا کمتر از آن داشته باشد، زیاد نباید در مورد خزیده شدن آن نگران باشید. با اینحال اگر قصد دارید سایت خود را توسعه دهید می توانید در این مقاله همراه ما باشید. اگر بتوانید از همان روزهای اولیه سایت عادت های خوبی برای اینکار ایجاد کنید بعدها با گسترش سایت می توانید با خیال راحت کار را تماشا کنید. در این مقاله سعی می کنیم به همین موضوع بپردازیم و ببینیم کارایی در خزش چیست و شما چه کاری می توانید در این مورد انجام دهید. پس همراه وب ایده باشید.
همه موتورهای جستجو کار خزیدن سایت را به یک شیوه یکسان انجام می دهند. در این مقاله ما از موتور جستجوی گوگل و ربات های آن صحبت خواهیم کرد.
کار خزیدن سایت چگونه انجام می شود؟
گوگل لینک سایت شما را جایی در وب پیدا می کند. در آن نقطه از وب، آدرس سایت شما به عنوان نقطه شروع کار خواهد بود. بعد از اینکه آدرس سایت شما توسط موتور جستجو پیدا شد فرایند بعدی ساده تر و آسان تر خواهد بود:
- ربات های گوگل وارد یک صفحه از سایت می شوند
- آن صفحه را می خزند و تمامی محتوای موجود در آن را ایندکس می کنند
- سپس تمامی لینک های موجود در آن صفحه را به پایگاه داده خود می افزایند.
در طول خزش، ربات های گوگل ممکن است با ریدایرکت مواجه شوند. آدرسی که ربات به آن ریدایرکت شده در نهایت ثبت خواهد شد. هدف اصلی و اولیه شما این است که به گوگل کمک کنید همه صفحات موجود در سایت را به دست آورد. هدف دومتان این است که مطمئن شوید محتوای جدید و به روزشده نیز به سرعت خزیده می شود. معماری خوب سایت به شما کمک خواهد کرد به این هداف دست پیدا کنید. همچنی باید سایت خود را به خوبی حفظ و نگهداری کنید.
عمق خزش چیست؟
زمانی که می خواهید موضوع خزش سایت را مورد برررسی قرار دهید جنبه مهمی که باید مدنظر داشته باشید، عمق خزش است. فرض کنید شما یک لینک از یک سایت به یک صفحه از سایت دارید. این صفحه به صفحه دیگری لینک شده و آن صفحه نیز به صفحات دیگر لینک شده و کار همچنان ادامه پیدا کرده است. ربات های گوگل زمانی را برای خزش محتوای سایت شما اختصاص خواهند داد.
با اینحال در نقطه ای به این نتیجه می رسند که دیگر نیازی به خزش سایت تان ندارند. زمان رسیدن به چنین نقطه ای به مهم بودن لینک هایی بستگی دارد که به صفحه اول شما اشاره کرده اند. این تعریف برای افراد مبتدی ممکن است کمی پیچیده باشد. پس اجازه دهید موضوع را با یک مثال ساده بیان کنیم. فرض کنید شما بر روی سایت خود ۱۰۰۰۰ پست دارید همه آن ها در دسته بندی یکسانی هستند و شما در هر صفحه از سایت ۱۰ مقاله را نشان می دهید. این صفحات تنها به صفحات بعدی و قبلی لینک داده شده اند. گوگل باید ۱۰۰۰ صفحه را بخزد تا بتواند به اولین مورد از آن ۱۰۰۰۰ پست دست پیدا کند. در بیشتر سایت ها چنین حجمی از مقالات و صفحات وجود ندارد و اصلا نیازی به درک این ماجرا نیست. به همین خاطر باید موارد زیر را همیشه مدنظر داشته باشید:
- از دسته بندی ها و برچسب ها برای بخش بندی بهتر سایت استفاده کنید. هرگز این موضوع را دست کم نگیرید. به عنوان یک قانون کلی، تگ ها یا همان برچسب ها تنها زمانی مفید خواهند بود که بخواهید بیش از سه صفحه از محتوا را به هم مرتبط کنید. پس مطمئن شوید طبقه بندی ها و دسته بندی های سایت خود را برای موتورهای جستجو بهینه سازی می کنید.
- به کمک اعداد به صفحات عمیق تر لینک دهید تا ربات های گوگل سریع تر به آن صفحات دست پیدا کنند.
- تا جایی که می توانید سایت سریعی داشته باشید. هر چقدر سرعت بارگذاری سایت شما کندتر باشد خزیدن آن نیز طولانی تر خواهد بود.
نقشه سایت XML و کارایی خزش:
سایت شما باید یک یا چند نقشه سایت داشته باشد. این نقشه ها به گوگل می گویند گه آدرس هایی بر روی سایت تان وجود دارند. نقشه سایت خوب نشان دهنده زمان به روز رسانی یک آدرس خاص هم هست. بیشتر موتورهای جستجو آدرس های موجود در نقشه سایت را بیشتر از سایر موارد می خزند. در کنسول جستجوی گوگل، نقشه سایت مزایای بسیار زیادی در اختیارتان قرار خواهد داد. برای هر نقشه ای، گوگل خطاها و هشدارهای موجود را نشان می دهد. می توانید با ایجاد نقشه های مختلف برای انواع مختلف آدرس ها، از این گزینه در کنسول جستجوی گوگل به نفع خود استفاده کنید. به کمک این ابزار می توانید نوع آدرس هایی که سایت بیشترین مشکل را دارند بیابید.
مشکلاتی که کارایی خزش را کاهش می دهند:
بیشتر خطاهای ۴۰۴ و سایر خطاهای موجود در سایت:
با اینکه گوگل تلاش می کند به خوبی سایت شما را بخزد اما ممکن است در این مسیر با خطاهایی هم مواجه شود. اگر در طول خزش خطاهای زیادی بر روی سایت خود داشته باشید ربات های گوگل کندتر عمل خواهند کرد. این موضوع بدین خاطر است که اگر خزش سریع تر شود ممکن است خطاهای دیکری هم رخ دهد. برای اینکه سرعت خزش ربات های گوگل کند نشود، باید این خطاها را تا جایی که می توانید برطرف کنید. گوگل همه این خطاها را در کنسول جستجوی گوگل نشان می دهد.
ریدایرکت ۳۰۱ اضافی:
فرض کنید سایتی تنها مهاجرت بر روی دامنه را انجام داده است. این سایت بزرگ است و باید خزش همه صفحات به درستی انجام شود. در چنین شرایطی ممکن است مشکل پیچیده و البته بزرگی رخ دهد. گروه بزرگی از آدرس های موجود در این سایت همیشه بدون علامت اسلش پایانی به هم لینک شده اند. اگر شما نیز آدرسی بدون اسلش پایانی داشته باشید با ریدایرکت ۳۰۱ مواجه خواهید شد. اگر این مشکل بر روی یک یا دو مورد از آدرس های سایت رخ دهد نگرانی بزرگی نخواهد بود. اما چنین مشکلی اغلب بر روی صفحه اصلی سایت دیده می شود. اگر این مشکل در سایتی رخ دهد که بیش از ۲۵۰۰۰۰ آدرس دارد، دردسر بزرگی ایجاد خواهد شد. ربات های گوگل باید ۵۰۰۰۰۰ آدرس را بخزند و در این شرایط خزش کارایی قبلی خود را از دست می دهد.
به همین خاطر است که باید همیشه تلاش کنید لینک های موجود در سایت خود را به هنگام به روزرسانی آدرس ها به روز کنید.
اگر اینکار را انجام ندهید ریدایرکت های ۳۰۱ زیادی با گذشت زمان خواهید داشت. این موضوع سرعت خزش سایت و کارایی آن ارا کاهش می دهد.
خطاهای خزش:
گوگل خطاهای خزش را به دو طبقه بندی گسترده تقسیم می کند:
- خطاهای مرتبط با سایت: این خطاها مربوط به خطاهایی است که در کل سایت دیده می شود
- خطاهای مرتبط با URL: تین ها تنها مربوط به یک آدرس خاص هستند و برطرف کردن مشکل مربوط به آن بسیار ساده تر و اسان تر از خطای مربوط با کل سایت است.
اجازه دهید هر کدام از این طبقه بندی ها را با جزییات بیشتری مورد بررسی قرار دهیم:
خطاهای مرتبط با سایت:
خطاهای سایت به خطاهایی در خزش گفته می شود که جلوی ربات های گوگل را می گیرد و نمی گذارد به سایت شما دسترسی داشته باشد. این نوع خطاها معمولا دلایل مختلفی دارند که رایج ترین آن ها را در ادامه با هم مرور می کنیم:
- خطاهای DNS: این موضوع بدین معنی است که موتور جستجو نمی تواند با سرور شما ارتباط برقرار کند. ممکن است سرور داون باشد و موتور جستجو نتواند سایت را بازدید کند. معمولا چنین مشکلاتی موقتی هستند. گوگل دوباره به سایت باز می گردد و آن را می خزد . اگر متوجه بروز این خطا در کنسول جستجوی گوگل شدید، ممکن است این موضوع بدین معنی باشد که گوگل بارها تلاش کرده سایت شما را بخزد اما قادر به انجام اینکار نبوده است. در این شرایط بهتر است از کنسول جستجوی قدیمی گوگل به بخش fetch as google بروید و یک صفحه از سایت را fetch کنید. در این شرایط می توانید متوجه شوید ربات های گوگل چگونه صفحات شما را می خزند. اگر گوگل نتوانست صفحه مدنظر شما را fetch و رندر کند باید با هاست خود تماس بگیرید.
- خطاهای مرتبط با سرور: اگر در کنسول جستجوی گوگل خطای مرتبط با سرور را مشاهده می کنید این موضوع بدنی معنی است که ربات ها نمی توانند به سایت شما دسترسی داشته باشند. ممکن است درخواست تایم اوت شده باشد. موتور جستجو تلاش می کند سایت شما را بازدید کند اما به نطر این بازدید زمان زیادی می گیرد و سرور نمی تواند درخواست مدنظر را فراهم کند. خطاهای مرتبط با سرور زمانی رخ می دهد که خطایی در کدها وجود داشته باشد و مانع از بارگذاری صفحه شود. همچنین ممکن است سایت بازدیدکننده زیادی داشته باشد و سرور نتواند همه این درخواست ها را مدیریت کند.بیشتر این خطاها با کد وضعیت ۵xx همچون خطای ۵۰۰ یا ۵۰۳ نشان داده می شوند. گوگل پیشنهاد می کند برای حل چنین مشکلاتی ابتدا از قابلیت fetch در کنسول جستجوی آن استفاده کنید. اگر این گزینه به درستی صفحه شما را ثبت و رندر کرد می توانید مطمئن باشید که مشکل موقتی است و گوگل به سایت شما دسترسی دارد.
- شکست در بررسی سایت توسط ربات ها: ربات های گوگل قبل از اینکه شروع به خزش سایت شما کنند تلاش می کنند فایل txt را بخزند. این فایل به گوگل مک می کند نواحی از سایت که نباید ایندکس شود را شناسایی نماید. اگر ربات نتواند به این فایل دسترسی پیدا کند، گوگل خزش سایت را تا زمانی که فایل robots.txt در اختیارش قرار گیرد به تعویق می اندازد. پس باید مطمئن شوید این فایل را برای سایت خود تهیه می کنید.
خطاهای مربوط به URL:
همانطور که قبلا نیز بیان کردیم خطاهای مربوط به URL، به خطاهایی اطلاق می شود که به هنگام بروز مشکل در خزش یک آدرس یا صفحه خاص از سایت دیده می شود. زمانی که در مورد خطاهای مربوط به URL صحبت می کنیم در ابتدا درباره خطاهایی همچون ۴۰۴ بحث خواهیم کرد. شما باید این نوع خطاها را در کنسول جستجوی گوگل همیشه مورد بررسی قرار دهید. اگر محتوای مشابهی در سایت دارید می توانید از ریدایرکت ۳۰۱ استفاده کنید. مطمئن شوید که نقشه سایت و لینک های داخلی همگی به روز هستند.
معمولا بیشتر این خطاها به خاطر لینک های داخلی رخ می دهد. به همین خاطر این خطاها جزو اشتباهات شما محسوب می شوند. اگر صفحه ای را از روی سایت خود پاک می کنید باید هرگونه لینک داخلی که به آن اشاره می شود را هم مورد بررسی قرار دهید و اصلاح نمایید. اگر لینک های داخلی بعد از اصلاح صفحه دست نخورده و اصلاح نشده باقی بمانند ربات های گوگل ممکن است با مشکل و خطا روبرو شوند. برخی از خطاهای رایج URL را در ادامه مشاهده می کنید:
- خطاهای URL مخصوص موبایل: این گزینه به خطاهای خزش مربوط به یک صفحه خاص اشاره دارد و بر روی گوشی های هوشمند مدرن رخ می دهد. اگر سایت واکنشگرایی دارید کمتر با چنین مشکلاتی روبرو خواهید شد. اگر در حال حاضر محتوای فلشی بر روی سایت خود دارید بهتر است آن را با محتوای دیگری جایگزین کنید. اگر زیردامنه دیگری برای موبایل ارید ممکن است با این خطاها بیشتر از قبل مواجه شوید.
- خطاهای بدافزارها: اگر خطای بدافزارها را دریافت کرده اید این موضوع بدین معنی است که گوگل و بینگ نرم افزارهای بدخواهانه را بر روی آدرس خاصی از سایت شما پیدا کرده است. باید چنین صفحاتی را بیابید و بدافزارهای موجود در آن ها را پاک کنید.
- خطاهای گوگل نیوز: خطاهای خاصی در گوگل نیوز وجود دارد.اگر سایت شما در گوگل نیوز نمایش داده می شود ممکن است با چنین خطاهایی مواجه شوید. این ها معمولا به خاطر نبود تایتل رخ می دهند .
شما می توانید از ابزارهای مختلف برای یافتن مشکلات موجود در سایت و بهبود خزش استفاده کنید. معمولا در زمان هایی که می خواهید سایت خود را مرور کنید می توانید از ابزارهایی همچون Screaming Frog استفاده نمایید.
چگونه نرخ خزش در سایت را بهبود ببخشیم؟
برای اینکه بتوانید نرخ خزش سایت توسط گوگل را بهبود ببخشید همیشه مراحل زیر را مدنظر داشته باشید:
- به طور منظم محتوای جدیدی به سایت خود اضافه کنید.یکی از معیارهای مهم برای موتورهای جستجویی همچون گوگل وجود محتوای جدید بر روی سایت است.
- زمان بارگذاری سایت خود را بهبود ببخشید. خزنده های گوگل برای خزیدن و ایندکس کردن سایت شما زمان محدودی دارند. سعی کنید سرعت بارگذاری صفحات سایت خود را بالاتر ببرید.
- برای افزایش نرخ خزش سایت ، از نقشه سایت استفاده کنید.
- زمان پاسخگویی از طرف سرور را بهبود ببخشید.
- خود را از محتوای تکراری مصون نگه دارید. همیشه سایت را بررسی کنید تا مطمئن شوید محتوای تکراری بر روی آن ندارید.
- از طریق فایل txt صفحات ناخواسته را مسدود نمایید.
- تصاویر و فایل های ویدئویی خود را بهبود ببخشید.
- پست های وبلاگ را به هم لینک دهید.
- از به کار بردن سئوی کلاه سیاه خودداری کنید.
- بک لینک های با کیفیتی برای سایت خود به دست آورید.
- تا جایی که می توانید در رسانه های اجتماعی فعال باشید و اشتراک های بیشتری کسب کنید.
