یک آنالیز جامع از لاگ های سرور ( فایل گزارشات سرور) می تواند به شما کمک کند بینش عمیق تری نسبت به مسائل سئو داشته باشید.
آنالیز لاگ به یک بخش ضروری و اساسی سئوی فنی تبدیل شده است. لاگ های سرور به ما کمک می کند به خوبی نحوه تعامل خزنده های موتور جستجو با سایت را درک کنیم. تجزیه و تحلیل لاگ های سرور می تواند منجر به بینش عملی در مورد سئو شود.
مرحله اول: ابتدا ابزار مناسب خود را انتخاب کنید
ابزارهای بسیاری برای کمک به آنالیز لاگ های سرور وجود دارد و هر کدام از این ابزارها بسته به دانش فنی و منابع شما می تواند مفید باشد. سه نوع ابزار آنالیز فایل های لاگ وجود دارد که می توانید هر کدام را که خواستید انتخاب کنید.
اکسل:
اگر کار با اکسل را بلد هستید، به احتمال زیاد قادر خواهید بود با استفاده از مراحل موجود آنالیز فایل های لاگ را انجام دهید. توجه به این نکته ضروری است که حتی اگر از سایر گزینه های موجود استفاده می کنید، باز هم باید داده های جمع آوری شده را در یک فایل اکسل اکسپورت کنید. این داده های خروجی را می توان با سایر منابع داده ای همچون گوگل آنالیتیک و کنسول جستجوی گوگل مقایسه کرد. مقدار زمان مورد نیاز برای اتمام اینکار به تعداد داده ی مورد نظر برای فیلتر ، بخش بندی کردن و سازماندهی بستگی دارد.
ابزارهای متن باز:
اگر بودجه کافی برای خرید یک ابزار پولی را ندارید می توانید از ابزارهای متن باز استفاده کنید اما باید منابع فنی مورد نیاز برای انجام اینکار را نیز در اختیار داشته باشید. گزینه ی متن باز محبوب در این میان ELK stack است که شامل Kibana ، Elasticsearch و Logstash می باشد.
ابزارهای پولی:
اگر پشتیبان فنی یا منبع مناسب در اختیار ندارید بهترین گزینه استفاده از ابزارهای پولی است به خصوص اگر ابزار انتخابی شما تنظیم آسان و راحتی داشته باشد. برخی از گزینه ها در مواردی که نیاز به آپلود دستی فایل لاگ وجود داشته باشد از cURL نیز پشتیبانی می کنند ( به جای اتصال مستقیم به سرور):
- ابزارSplunk بهترین گزینه شناخته شده برای آنالیز فایل های لاگ است اگرچه گزینه ارزانی محسوب نمی شود. با اینحال، این سایت نسخه های ارزان تر و سبک تری را در اختیار مشتری قرار می دهد.
- ابزارهای موجود در سایت io نیز ELK را به عنوان یک سرویس ارائه می دهند ( که بر اساس ابر است) . این سایت دارای گزینه های رایگان نیز هست.
- ابزارهای موجود در سایت Loggly نسخه های رایگان محدودتری دارد. این سایت بر اساس ابر کار می کند و رابط کاربری راحتی دارد که استفاده از گزینه های فیلتر و جستجو در آن بسیار اسان است. عملکرد خوب ابزارهای موجود در این سایت به شما اجازه می دهد آنالیز خود را در یک زمان کم انجام دهید .
زمانی که بهترین ابزار را برای کار خود انتخاب کردید، زمان آغاز آنالیز فرا رسیده است. باید مطمئن شوید که بر روی آیتم های عملی سئو تمرکز می کنید .
در زیر ۵ سوال را مشاهده می کنید که پاسخ هر کدام از این سوال ها می تواند به یک آنالیز خوب کمک کند.
۱٫چه ربات هایی به سایت شما دسترسی دارند؟ به دنبال spambots ( ربات های اسپم) یا scrapers باشید و آنها را مسدود نمایید:
لاگ ها معمولا فرمت از پیش تعریف شده ای دارند. همانطور که در اسکرین شات زیر مشاهده می کنید، تشخیص و شناسایی عامل کاربر را می توان به اسانی در Loggly با فیترهای از پیش تعریف شده برای فیلدهای لاگ( گزارش) انجام داد.
زمانی که برای اولین بار شروع به آنالیز لاگ های خود می کنید، بهتر است نه تنها فعالیت ربات های جستجو همچون Googlebots ، bingbots یا Yandex bots را بررسی کنید بلکه ربات های اسپم را نیز مورد بررسی قرار دهید. این ربات ها می توانند مشکلات مربوط به عملکرد را ایجاد کنند، ابزار آنالیزی شما را آلوده سازند و محتوای شما را خراب کنند. برای اینکار بهتر است بررسی های خود را از طریق لیست شناخته شده ای از عامل های کاربر انجام دهید.به دنبال ربات های مشکوک بگردید و سپس رفتار آنها را آنالیز کنید. در طول زمان، فعالیت آنها چگونه بوده است ؟ در طول یک دوره زمانی انتخاب شده، چه تعداد رویداد داشته اند؟ آیا حضور آنها با عملکرد سایت تداخل داشته است؟ اگر این موارد وجود داشت، نه تنها باید فعالیت آنها را از طریق فایل robots.txt مسدود کنید بلکه می توانید از طریق فایل htaccess نیز آنها را مسدود سازید.
- آیا تمامی ربات های موتورهای جستجوی مورد نظر شما به صفحات سایت دسترسی دارند؟
زمانی که ربات هایی که به سایت شما سر می زنند را شناسایی کردید، حالا باید بر روی ربات های موتور جستجو تمرکز کنید و مطمئن شوید که دسترسی لازم به تمامی صفحات سایت را دارند. با استفاده از فیلتر userAgent در Loggly شما می توانید به طور مستقیم یکی از موارد را آنالیز کنید یا با استفاده از نام ،جستجوی مورد نظر را انجام دهید. زمانی که ربات های مورد نظر خود را فیلتر کردید، می توانید گزینه نمودار را برای نشان دادن بصری فعالیت های آنها در طول زمان انتخاب نمایید. ربات کدام موتور جستجو بالاترین سطح فعالیت را در سایت شما داشته است؟ آیا این ربات ها با موتورهایی که در نظر دارید منطبق هستند؟ به عنوان مثال، در شکل زیر مشاهده می کنید که ربات گوگل دوبرابر ربات بینگ فعالیت داشته است.
نکته مهم این است که نه تنها ربات موتورهای جستجو به سمت سایت شما می آیند بلکه نشان می دهد خزنده های وب نیز چقدر زمان در سایت سپری می کنند. این خزنده ها چه صفحاتی را مورد بررسی قرار داده اند؟ وضعیت HTTP این صفحات چگونه است ؟ آیا خزنده های ربات جستجو صفحات یکسانی را بررسی کرده اند؟ شما می توانید هر کدام از عامل های کاربری که می خواهید جستجو کنید را انتخاب نمایید و داده های مورد نظر را برای مقایسه در اکسل اکسپورت کنید
بر اساس اطلاعات اولیه، می توانید رفتارهای متفاوت هر کدام از این خزنده ها را مشخص کنید.
- چه صفحاتی به خوبی کار نمی کنند؟ به دنبال صفحاتی با وضعیت HTTP، ۳XX ، ۴XX و ۵XX باشید:
با جستجوی ربات جستجوی مورد نظر و سپس انتخاب فیلتر status شما می توانید مقادیر HTTP صفحاتی که می خواهید آنالیز کنید را انتخاب نمایید. شما می توانید به دنبال کدهای وضعیت ۳xx, 4xx و ۵xx باشید .
از این قسمت می توانید صفحاتی که بیشترین خطا را دارند شناسایی کنید. شما می توانید داده های مورد نظر را اکسپورت کنید و سپس آنها را برای بهینه سازی اولویت بندی نمایید.
- چه صفحاتی بیشتر از سایر موارد توسط ربات های جستجو بررسی شده اند؟
زمانی که به دنبال ربات های جستجوی مورد نظر خود هستید، می توانید به طور مستقیم از فیلتر requestURI برای دریافت لیستی از اسناد وب استفاده کنید. شما می توانید تمامی این موارد را به طور مستقیم در رابط ابزار، مرور کنید یا در فایل اکسل اکسپورت کنید و در زمان دیگری بررسی نمایید.
اگر صفحات مهم سایت شما در میان صفحاتی که از طریق خزنده ها بررسی شده اند قرار نداشته باشد، می توانید به دنبال یک فعالیت مناسب برای سئوی خود باشید. شما ممکن است بخواهید لینک داخلی این صفحات را بهبود ببخشید و سپس یک نقشه سایت (Sitemap) XML ایجاد کنید.
- آیا ربات های خزنده صفحاتی را مرور می کنند که نباید مورد بررسی قرار دهند؟
شما باید صفحاتی را شناسایی کنید که نباید ایندکس شوند. برای انجام اینکار بهتر است از فیلتر requestURI برای دریافت صفحات مورد نظر خود استفاده کنید و سپس داده ها را اکسپورت نمایید. در این حالت باید صفحات و دایرکتوری هایی را بررسی کنید که در فایل robots.txt مسدود شده اند اما باز هم توسط خزنده های وب مرور می شوند.
شما همچنین می توانید صفحاتی را بررسی کنید که از طریق فایل robots.txt مسدود نشده اند اما نباید در دید خزنده ها قرار می گرفتند. برای این منظور شما می توانید یک لیست خزنده از لیست اکسپورت شده با خزنده سئوی مورد نظر را انجام دهید تا اطلاعات اضافی در مورد این ربات ها به دست آید.
- نرخ و سرعت خزیدن ربات گوگل در طول زمان چقدر بوده است و این مقدار چه ارتباطی با زمان پاسخ و صفحات خطا دارد؟
متاسفانه، داده هایی که از طریق گزارشات Crawl Stats در کنسول جستجوی گوگل به دست می آید کلی است و به راحتی نمی توان فعالیت دقیقی در مورد آن انجام داد. بنابراین با آنالیز لاگ ها( گزارشات) خودتان می توانید نرخ خزیدن ربات های گوگل در طول زمان را مشخص کنید . با استفاده از ابزار Loggly قادر هستید فعالیت های ربات های گوگل را در یک محدوده زمانی مشخص و به صورت نمودار خطی مشاهده کنید . در این ابزار وضعیت HTTP نیز به طور مستقل برای تایید نمایش داده می شود. دانستن اینکه چه نوع وضعیت HTTP رخ داده است و این موضوع چه زمانی اتفاق افتاده می تواند به شما کمک کند
شما می توانید با رسم اندازه فایل درخواست شده توسط ربات گوگل در یک دورزه مانی خاص، وجود ارتباط با تغییرات رفتاری خزنده را مشخص کرده و سپس فعالیت مناسب را برای بهینه سازی سایت انتخاب کنید.
- ربات های گوگل از چه آی پی برای خزیدن ( مرور سایت) استفاده می کنند؟ دسترسی صحیح این ربات ها را به صفحات و منابع مناسب تایید کنید.
این مورد بیشتر برای سایت هایی مورد استفاده قرار می گیرد که محتوای متفاوتی برای کاربران خود در موقعیت های مختلف دارند. در برخی از موارد، چنین سایت هایی به طور ناخودآگاه تجربه ضعیفی برای خزنده هایی با آی پی سایر کشورها ایجاد می کنند. مثلا ممکن است آی پی خاصی را در سایت مسدود کرده باشند و خزنده ها نتوانند به محتوای سایت دست یابند. گوگل در حال حاضر از خزنده های هوشیار محلی برای تشخیص محتوای مخصوص هر کشور پشتیبانی می کند اما هنوز هم باید مطمئن شوید که تمامی محتوای سایت شما برای خزنده ها در دسترس است. اگر چنین نبود، باید بدانید که سایت به درستی پیکربندی نشده است. پس از بخش بندی های عامل کاربر، شما می توانید از فیلتر آی پی نیز برای تایید محتوای سایت در دسترس استفاده کنید.
مثلا زمانی که می خواهید به سایت همچون nba . com از طریق آی پی اسپانیایی دسترسی داشته باشید، به یک زیر دامنه دیگر انتقال داده می شوید که اسکرین شات آن در زیر قابل مشاهده است.
زمانی که از طریق آی پی فرانسوی بخواهید به سایت دسترسی داشته باشید به صفحه دیگری به نام L’Equipe هدایت می شوید که یک روزنامه ورزشی محلی در فرانسه است.
من طرفدار تغییر مسیر خودکار به صورت بین المللی نیستم اما اگر به خاطر کسب وکار خود به آن نیاز داشتید، مطمئن شوید که در برابر تمامی خزنده هایی که از یک کشور یکسان به سایت می آیند رفتار ثابتی داشته باشید.
نتیجه گیری:
انالیز لاگ سرور مهم بدانید امیدوارم با استفاده از این سوالات و توضیحاتی که در هر مورد مشاهده کردید، بتوانید سئوی سایت خود را تقویت کنید.
ارائه شده توسط تیم ایران سئو سایت