Bir web sitesinin Google’da görünebilmesi için önce Google tarafından keşfedilmesi gerekir. İşte bu keşif sürecinin adı crawl. Bu yazıda crawl’ın ne demek olduğunu, nasıl çalıştığını, crawl bütçesinin ne işe yaradığını ve index (dizine ekleme) ile arasındaki farkı detaylıca ele alıyoruz.

SEO Terimi Olan Crawl Ne Demek?

Crawl (tarama), arama motorlarının kendi yazılım robotları (bot) aracılığıyla internetteki web sayfalarını sistematik olarak ziyaret edip içeriğini, bağlantılarını ve teknik yapısını okuma sürecidir. Google’ın bu işlemi gerçekleştiren yazılımına Googlebot denir.

Crawl, SEO’nun en temel adımıdır; çünkü bir sayfa taranmadan dizine eklenemez, dizine eklenmeden de hiçbir anahtar kelimede arama sonuçlarında görünemez. Ne kadar kaliteli bir SEO danışmanlığı stratejisi izlerseniz izleyin, taranmayan bir sayfanın arama sonucu karşılığı olmaz.

Crawl Ne Demek? Crawling Etmek Nedir?

Crawling etmek, Googlebot’un bir web sayfasına gelip HTML kodunu, görsellerini, script’lerini ve sayfa içindeki bağlantıları (link) okuma eylemidir. Bot, bir sayfayı taradıktan sonra o sayfadaki tüm iç ve dış bağlantıları takip ederek yeni sayfalar keşfeder; bu şekilde internetin tamamı adım adım, bağlantı ağı üzerinden taranır.

Googlebot'un keşif, erişim, tarama ve bağlantı takibi adımlarından oluşan crawl sürecini gösteren akış diyagramı

Bu süreç şu şekilde işler:

  1. Keşif: Googlebot, daha önce bilinen bir sayfadan, bir XML sitemap’ten ya da harici bir bağlantıdan yeni bir URL’yi keşfeder.
  2. Erişim: Bot, robots.txt dosyasını kontrol ederek o sayfaya erişim izni olup olmadığını doğrular.
  3. Tarama: İzin varsa sayfanın içeriği indirilir ve analiz edilir.
  4. Bağlantı Takibi: Sayfadaki tüm bağlantılar not edilir; bu bağlantılar sıradaki tarama kuyruğuna eklenir.

Googlebot Nasıl Çalışır?

Googlebot, siteleri rastgele değil, öncelik sırasına göre tarar. Bir sitenin ne sıklıkla ve ne derinlikte tarandığı; sitenin otoritesine, güncellenme sıklığına, sunucu hızına ve iç link yapısına bağlıdır. Sık güncellenen, güçlü bir iç bağlantı ağına sahip ve hızlı yüklenen siteler, Googlebot tarafından çok daha sık ziyaret edilir.

Googlebot iki temel modda çalışır:

  • Masaüstü taraması: Sayfayı masaüstü tarayıcısı gibi işler.
  • Mobil taraması: Google artık öncelikli olarak mobil-öncelikli dizine ekleme (mobile-first indexing) kullanır; yani sitenizin mobil sürümü, sıralama için esas alınan versiyondur.

Crawl Budget (Tarama Bütçesi) Nedir?

Crawl budget (tarama bütçesi), Googlebot’un belirli bir zaman diliminde bir sitede tarayacağı sayfa sayısının sınırıdır. Büyük ve sık güncellenen sitelerde bu bütçe kritik önem taşır; çünkü sınırlı bütçe yanlış sayfalara harcanırsa, önemli sayfalarınız geç taranabilir ya da hiç taranmayabilir.

Crawl bütçesini verimli kullanmanın yolları:

  • Yavaş yüklenen sayfaları teknik SEO denetimi ile tespit edip hızlandırmak
  • Değeri düşük, ince içerikli veya yinelenen sayfaları robots.txt ya da noindex ile taramadan hariç tutmak
  • Kırık linkleri (404 hataları) ve gereksiz yönlendirme zincirlerini temizlemek
  • Güncel bir XML sitemap ile Google’a hangi sayfaların öncelikli olduğunu göstermek

Bu konudaki teknik detayları teknik SEO rehberimizde daha kapsamlı ele aldık.

Crawl (Tarama) ve İndex (Dizine Ekleme) Arasındaki Fark Nedir?

Crawl ve index sık karıştırılan ama birbirinden farklı iki aşamadır:

Crawl (tarama) ile index (dizine ekleme) kavramları arasındaki farkı özetleyen kart

  • Crawl (tarama): Googlebot’un bir sayfayı ziyaret edip içeriğini okumasıdır. Bir sayfa taranmış olabilir ama bu, dizine eklendiği anlamına gelmez.
  • Index (dizine ekleme): Taranan sayfanın içeriğinin analiz edilip Google’ın arama sonuçlarında gösterilmek üzere devasa veritabanına (Google Index’e) kaydedilmesidir.

Yani her taranan sayfa dizine eklenmez; Google, taradığı bir sayfayı içerik kalitesi düşükse, yinelenen (duplicate) içerikse ya da noindex etiketi taşıyorsa dizine eklemeyebilir. Bu iki kavram arasındaki farkı, dizine ekleme sürecinin teknik detaylarıyla birlikte Google Index (Dizin) Nedir? yazımızda kapsamlı olarak inceledik.

Bir Web Sitesi Nasıl Taranır?

Googlebot’un sitenizi düzenli ve eksiksiz taraması için şu unsurlar önemlidir:

robots.txt Doğru Yapılandırılmalı

robots.txt dosyası, Googlebot’a hangi bölümlere erişebileceğini bildirir. Yanlışlıkla önemli sayfaların engellenmesi, sık karşılaşılan ve fark edilmesi zor bir hatadır.

XML Sitemap Güncel Tutulmalı

Sitemap, sitenizdeki tüm önemli URL’leri Google’a liste halinde sunar; özellikle yeni yayınlanan sayfaların daha hızlı keşfedilmesini sağlar.

Hiçbir sayfadan bağlantı almayan (yetim sayfa) içerikler, Googlebot tarafından keşfedilmekte zorlanır. Her sayfanın en az bir başka sayfadan gerçek bir iç linkle erişilebilir olması gerekir.

Sayfa Hızı ve Sunucu Yanıt Süresi İyileştirilmeli

Yavaş yanıt veren bir sunucu, Googlebot’un tarama hızını otomatik olarak düşürür; bu da crawl bütçesinin verimsiz kullanılmasına yol açar.

Crawl Sorunları Nasıl Tespit Edilir ve Çözülür?

Bir sitenin tarama sorunlarını tespit etmenin en güvenilir yolu Google Search Console’dur. “Sayfalar” raporu, hangi URL’lerin taranıp taranmadığını ve tarama engellerinin nedenini net şekilde gösterir. Sık karşılaşılan tarama sorunları arasında; hatalı robots.txt kuralları, sunucu hataları (5xx), yönlendirme döngüleri ve yavaş sayfa hızı yer alır.

Sitenizin tarama sağlığını düzenli olarak denetlemek isterseniz, SEO denetimi kapsamında bu sorunları tek tek tespit edip önceliklendiriyoruz. Ayrıca sitenize yetkisiz erişim sağlanıp gizli bağlantılar eklenmesi de (bkz. hacklink nedir?) tarama ve dizin sorunlarına yol açabilecek ciddi bir tehdittir.

Sık Yapılan Crawl Hataları

  • robots.txt ile önemli sayfaları yanlışlıkla engellemek: Tek bir hatalı satır, tüm bir bölümün taranmasını durdurabilir.
  • Zayıf iç link yapısı: Derin klasörlerde kalan sayfalar, ana sayfadan çok uzak kaldığında geç keşfedilir.
  • Yinelenen içerik üretmek: Aynı veya çok benzer içeriğe sahip çok sayıda sayfa, crawl bütçesini gereksiz yere tüketir.
  • Sitemap’i güncel tutmamak: Kaldırılan sayfaların hâlâ sitemap’te yer alması, Googlebot’un zamanını boşa harcamasına neden olur.

Markanızın Google’da Görünür Olmasını Sağlayalım

Crawl, dizine ekleme ve sıralama sürecinin en temel ilk adımıdır; ama tek başına yeterli değildir. Sitenizin taranma, dizine ekleme ve sıralama süreçlerinin sağlıklı işlediğinden emin olmak isterseniz, ücretsiz SEO analizi ile başlayabiliriz.

Sıkça Sorulan Sorular

Crawl ne demek, kısaca?

Crawl, arama motorlarının bot yazılımları (Googlebot gibi) aracılığıyla web sayfalarını ziyaret edip içeriğini okuma sürecidir; SEO’nun ilk ve olmazsa olmaz adımıdır.

Bir sayfa taranmadan dizine eklenebilir mi?

Hayır. Bir sayfanın Google’ın arama sonuçlarında görünebilmesi için önce taranması, ardından içerik kalitesinin dizine eklenmeye değer bulunması gerekir.

Crawl bütçesi her site için önemli mi?

Küçük sitelerde crawl bütçesi genellikle sorun oluşturmaz; ancak binlerce sayfası olan büyük ve sık güncellenen sitelerde bütçenin verimli kullanılması kritik önem taşır.

Googlebot bir siteyi ne sıklıkla tarar?

Sabit bir sıklık yoktur; sitenin otoritesine, güncellenme sıklığına ve teknik sağlığına göre değişir. Düzenli güncellenen ve teknik olarak sağlıklı siteler daha sık taranır.

robots.txt dosyasında hata varsa ne olur?

Yanlış yapılandırılmış bir robots.txt, önemli sayfaların Googlebot tarafından hiç taranamamasına, dolayısıyla dizine eklenmemesine yol açabilir; bu nedenle düzenli olarak kontrol edilmesi gerekir.

Crawl sorunlarını nasıl tespit edebilirim?

Google Search Console’daki “Sayfalar” raporu ve URL Denetleme aracı, hangi sayfaların taranıp taranmadığını ve olası tarama engellerinin nedenini gösterir.

İlgili Araç

Bu konuyla ilgili çalışırken Sayfa İndekslenebilirlik Kontrolü aracımızı ücretsiz kullanabilirsiniz.