Log Analizi Nedir? Teknik SEO için Log Analizi Nasıl Yapılır?
Log Analizi Nedir?
Log Analizi, sunucunun aldığı tüm istekleri satır satır işleyen günlük dosyasının analizidir.
Site içi teknik SEO çalışmalarımız için en doğru analizi log dosyaları sayesinde yapabiliriz.
Bu şekilde arama motorlarının sitemizi ve sayfalarımızı nasıl, ne zaman ve ne şekilde taradıklarından kesin olarak emin olabiliriz.
Log analizi sayesinde tarama sorunlarımız dışında, en çok taranan sayfalarımızı, site mimarisinin nasıl yapılandırmamız gerektiğini, önemli sayfaların hangi zamanlarda hangi yanıt kodları döndürdüğünü de tespit edebiliriz.
Log dosyası, sunucularda tutulur.
Bu dosyalara erişmek için IT ekibinizden isteyebilir veya hosting sağlayıcınız üzerinden FTP veya CPanel üzerinden bu dosyaya erişebilirsiniz.
CPanel üzerinden dosya yöneticisine girerek burada “logs” olarak log kayıtlarınıza erişebileceğiniz dosyalar tutulur.
Örnek bir log dosyası içerisinde sırasıyla;
- Sunucuya istek gönderen IP adresi
- İsteğin yapıldığı zaman damgası
- İsteğin türü (method)
- Gönderilen isteğe sunucunun verdiği yanıt kodu (response code)
- İstek gönderen kaynağın kimliği (user-agent)
- İstek gönderilen sayfa (URL request)
- İstek gönderilen adres (Host)
Apache için örnek log dosyası satırları şu şekildedir:
66.249.70.69 - - [06/Jan/2021:15:13:01 +0300] "GET /dosya/log-analizi HTTP/1.1" 200 278 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"İstek gönderen IP, zaman damgası, istek türü, sunucunun verdiği yanıt kodu, indirilen byte ve istek gönderen kullanıcının kimliğini bu şekilde görebiliriz.
Log Analizi SEO Çalışmaları için Nasıl Kullanılır?
1. Tarama bütçesinin iyi kullanılıp kullanılmadığını anlamlandırma
Tarama bütçesi: Google’ın sitemizi ziyaret ettiğinde ne kadar sayfa tarayacağını gösterir.
2. Website mimarisinin yapılandırılmasında oluşan sorunlardan dolayı önemli sayfaların taranması gerçekleşmiyor mu?
Site mimarisi kötü olan websiteler için önemli sayfalar taranmıyor ya da diğer sayfalara göre daha az taranıyor olabilir.
Log analizi sayesinde bunları belirleyip site içi SEO çalışmalarımız için yol haritası belirleyebiliriz.
3. Sitedeki sayfalar arama motorlarına her istek sonucunda 200 durum kodu verebiliyor mu?
Google Arama Konsolu veya tarama araçlarında karşılaşmadığımız ancak sunuculara fazla yüklenme gibi durumlar olduğunda da özellikle önemli sayfaların her istekte 200 yanıt kodu verebiliyor olması gerekir.
4. Hangi botlar websitemizi daha çok ziyaret ediyor?
Dünya’daki en büyük ve en çok kullanılan arama motorunun Google olduğunu düşünürsek websitemizin en çok Google botları tarafından taranmasını isteyebiliriz.
Bu yüzden sunucuyu yorabilecek ve pek fazla getirisi olmayan botları engelleyebiliriz.
5. Site içerisinde yetim sayfalar (“orphaned page”) bulunuyor mu?
Herhangi bir sayfayla bağlantısı olmayan sayfalara yetim sayfalar denir ve bu sayfaları keşfederek site içi linklemeleri daha iyi hale getirebiliriz.
6. Parametre içeren sayfalar kaynakları verimsiz kullanıyor mu?
Özellikle e-ticaret, otel rezervasyon gibi sitelerde bulunan filtreler ve bunların parametreleri tarama bütçesini gereksiz yere kullanıyor olabilir.
Log analizi sayesinde bunları tespit ederek bu parametreli sayfaları taranmaması için işaretleyebiliriz.
Log Analizi Nasıl Yapılır?
Öncelikle IP adreslerinin doğruluğunu kontrol etmemiz gerekebilir, çünkü sahte veya kötü amaçlı botları sitemizden engellememiz gerekir.
Bunun için gelen IP adresini kontrol edebiliriz.
IP adresini kontrol etmek için https://mxtoolbox.com/SuperTool.aspx bu bağlantıdaki reverse lookup aracını kullanarak kontrollerimizi yapabiliriz.
Bir diğer yöntem olarak da bilgisayarınızdaki terminali kullanarak ” nslookup 38.19303.1039″ gibi istek gönderen IP adresini sorgulayarak istek atan kullanıcı aracısı (“user-agent”) hakkında bilgi alabilirsiniz.
Binlerce satırlık dosyaları anlamlandırabilmek için log analizi araçlarını kullanmamız gerekir.
Log analizi için kullanabileceğimiz araçlar:
- Screaming Frog Log File Analyzer
- OnCrawl Log File Analyzer
- SEmrush Log File Analyzer
- Google Search Console Tarama İstatistikleri
SEMrush Log File Analyzer ile Log Analizi Nasıl Yapılır?
SEMrush Log analizi aracı ile yalnızca googlebotlar için bir analiz yapabiliyoruz.
Burada botların en çok taradığı sayfaları, tarama sıklıklarını ve en son tarama zamanlarını kolayca bulabiliriz.
Screaming Frog Log File Analyzer ile Log Analizi Nasıl Yapılır?
Screaming Frog Log File Analyzer, daha kapsamlı bir log analizi yapmamızı sağlar.
Bu araçla orta ve büyük ölçekli siteler için log analizi yapabiliriz.
İlk sekmede özet bölümünde bu analiz sonucundaki verileri hızlıca görebiliriz.
Bu özet verilerden bir çıkarım yapmak istersek;
Örneğin Unique URL olarak 1000 URL bulunan bir sitemiz olduğunu görüyoruz, günlük ise taranan benzersiz (“unique”) URL sayısı da 10 olarak log analizlerimizde çıkmış.
Buna göre websitedeki tüm sayfaların taranması 100 gün sürüyor diyebiliriz.
Errors olarak analiz edilen bölümde ise tarama bütçemizi harcayan ve hata yanıt kodu döndüren ne kadar kaynağımız olduğunu görebiliriz.
Bu verileri detaylandırmak ve bunların çıktısını almak içinse diğer sekmeleri ve bot filtrelerini kullanabiliriz.
Event sekmesinde hangi kullanıcı aracıların hangi sayfalarımıza ne kadar istek attıklarını ve bunlara verilen cevapları görebiliriz.
Bu araç özelinde en çok kullanacağımız bölümlerden biri event bölümüdür.
URL sekmesinde ise eventleri azalan sıralamaya göre seçtiğimizde hangi sayfaların en çok tarandığını ve en az taranan sayfaları bulabiliriz.
Bu bölümde az taranan ancak önemli sayfalarınızı keşfederek çok taranan sayfalardan dahili bağlantı stratejisi oluşturabilirsiniz.
URL sekmesinde ortalama byte sıralaması yaparak sayfaların boyutlarını analiz edebiliriz.
Bu analiz bize, tarama bütçemizin verimliliği için bilgi sağlar.
Hangi sayfaların boyutları çok büyük ve tarama sırasında en fazla kaynağı harcayarak diğer sayfalarımızın taranmasını engelliyor olabilir gibi bilgileri bu şekilde analiz edebiliriz.
Ya da eski ve güncel olmayan ancak çok taranan sayfalarınız varsa bu sayfaları güncellemeyi ve iyileştirmeyi düşünebilir ya da kaynak harcamamaları için farklı aksiyonlar alabilirsiniz.
Büyük boyutlu javascript dosyaları da tarama bütçesinin verimliliğini düşürecektir.
Bu yüzden bunları hızlıca tespit edebilmek için URL sekmesinde Javascript filtrelemesi yaparak burada çok fazla kaynak harcayan dosyaları tespit edebilir ve bunları optimize etmeyi düşünebiliriz.
Burada dosya tiplerine Javascript, HTML, CSS, Image gibi filtrelemeler kullanılabilir.
Response code (“yanıt kodları”) bölümünde ise sayfaların analiz edilen log dosyası aralığında (örneğin 1 aylık) gelen isteklere hangi yanıt kodlarını ve bu yanıt kodlarını ne kadar verdiklerini görebiliriz.
Örneğin; 1 ay boyunca 100 kez googlebot tarafından taranan bir sayfanın 90 kez 200 yanıt kodu 10 kez ise 4xx veya 5xx yanıt kodu verdiğini görebiliriz.
Buna göre de buradaki sorunları tespit edip çözmemiz gerekir.
Directories bölümünde ise, site yapımızı bu araçta dosyalar halinde görebiliriz.
Bu sayede hangi kategorilerin, alt dosyaların daha fazla tarandığını ve hangilerinin daha az tarandığını görebiliriz.
Buradaki analiz bize kategori dengesini sağlayabilmek adına site içi linklemeler için yol gösterir.
Böylece site yapımızı daha iyi hale getirebiliriz.
Google Arama Konsolu Tarama İstatistikleri Log Analizi İçin Nasıl Kullanılır?
Google Arama Konsolu tarama istatistikleri raporlarını da log analizi için kullanabiliriz.
Search Console üzerinde sayfaların botlara hangi yanıt kodunu verdiklerini yüzdesel dağılımlarla görebiliriz.
Sayfalardaki dosya tiplerine göre istek gönderilen yüzdeleri de görebiliriz.
Örneğin HTML istekleri %56, Image istekleri %4 gibi…
Bu analizi genişleterek hangi sayfalar olduklarını da analiz edebiliriz.
Böylece 4xx yanıt kodu döndürmüş sayfalarımız hakkında bilgi sahibi oluruz.
İlk kez taranan ve daha önce taranmış sayfaları ve hangi kullanıcı aracısı (“user-agent”) tarafından sitenin daha çok ziyaret edildiğini görebiliriz.
Bu analizi de genişletmek istersek, örneğin smartphone googlebot geldiğinde 4xx’le karşılaşmış mı diye kontrol etmek istersek filtre ekleyerek bunları da görebiliriz.
Son olarak Google Search Console üzerinde sunucudan kaynaklanan herhangi bir tarama problemi oluşup oluşmadığını da bu araçtan görerek özellikle küçük siteler için etkili bir log analizi yapabiliriz.
Özetle log analizi sayesinde SEO çalışmalarımızı daha iyi hale getirebiliriz.
Ancak bu analiz araçlarından faydalanmak için orta ve büyük bir websiteniz yoksa Google Arama Konsolu Tarama İstatistikleri raporu sayesinde küçük websiteleri için de etkili bir log analizi verileri ediniriz.
Sizler de teknik SEO çalışmalarınızı daha iyi hale getirmek için Log Analizi kullanarak rakiplerinizin önüne geçebilirsiniz.
