Google'dan önce nasıl arıyorduk

1993'te hayata geçen World Wide Web Wanderer, web sitelerini sıralamak ve otomatik bir şekilde veri tabanına yerleştirmek için üretilen ilk "bot" idi. Daha sonra "Wandex" olan bu sistem, Dünya çapında aktif sunucuları sayarak, ağın büyüklüğünü ve büyümesini ölçmek adına kurulmuştu. Ancak web sitelerinde gezinerek içeriklerini sıralamakla görevli olan modern "ağ örümcekleri" için bir plan haline dönüştü.

Excite, Stanford Üniversitesi'nden altı lisans öğrencisinin genel dil içerisindeki ilişkilerin istatistiklerini kullanarak sıralamalardaki ilgili olma durumunu arttırmaya uğraşmalarının sonucu olarak ortaya çıkan bir projeydi. O sıralar Architext olarak bilinen Excite, gazeteciler tarafından web sitesi yorumlarını yazarak daha ilkel olan link tabanlı arama motorları ve listelere göre daha elverişli bir ortam yaratmak için kullanılmaktaydı.

1994 yılı, büyük ihtimalle arama motoru tarihindeki en büyük yıl olabilir. Bu 12 aylık dönemde Infoseek, AltaVista, WebCrawler, Yahoo! ve Lycos'un hayata adım attığını gördük.

Kullanıcıların web sayfalarını gerçek zamanlı olarak kaydetmelerine imkan tanıyor ve otomatik bir şekilde kullanıcı kaynaklı kategorilere göre düzenliyordu.

Sınırsız bant genişliği sunan, doğal dil ile arama yapabilmeye izin verme ve sonuçları iyileştirme için arama düzenleyicileri kullanan ilk arama motoruydu.

Sadece başlıkların veya başlıklar ve tanımlamaların yerine bütün sayfaları sıralamaya alabilen ilk "crawler" idi.

Önem derecesine göre sıralama yapan ilk arama motoruydu. Lycos, depolanan sitelerin en büyük veri tabanını bulunduran siteydi ve hizmet 1996 yılında 60 milyonun üzerinde web sitesini veri tabanında bulundurmaktaydı.

Bu süre içerisinde ve sonrasında ortaya çıkan arama motorları web master tarafından eklenen başlıkları, tanımlamaları ve anahtar kelimeleri içeren meta etiketleri yoğun bir şekilde kullanmaktaydı. Bu etiketler, içerikleri düzenlemek ve tanımlamak için kullanılan asıl yöntemdi. Aynı zamanda erken SEO uzmanlarının bu sistemi manipüle etmeyi (etiketlere ve içeriğe doğal olmayan bir şekilde anahtar kelimeleri ekleyerek) hızlı bir şekilde çözmeleri ile beraber, web spam'ları için kapıyı da açmış oldu.

Ask ve Ask Jeeves hizmeti, insan editörler tarafından popüler kullanıcı aramalarını sıralayarak hem partner hem de paralı ekleme sitelerinin sıralamalarına dahil ediyordu. Bu hizmet, DirectHit olarak adlandırılan bir sistem aracılığı ile otomasyonu da kullanmaktaydı.

Microsoft, diğer ürünlerinin başarısından da faydalanarak kendi arama motorunu yayımladı. Bu arama motoru Overture, Looksmart ve diğer paralı ekleme düzenlemelerini kullanmaktaydı. Google'ın başarısı ile beraber bu sistem değişti. Google'ın başarılı olması, 2004 yılında MSN'in de benzer - ancak o kadar iyi olmayan - bir sistemi benimsemesine sebep oldu.

2009 yılında MSN, Bing olarak tekrar adlandırılarak kullanıcı arayüzünü geliştirdi ve yazarken size seçenekleri sunan tamamlama özelliğini, içeriklerin sonuç sayfasında gözükmelerini ve aramayı daha kolay kullanılır ve daha kolay erişilir kılan yeni özellikleri ekledi.

Google, BackRub olarak Larry Page ve Sergey Brin tarafından 1996 yılında başlatılan bir proje idi. Projenin amacı, linklerin alakalı olma durumunu birincil arama değişkeni olarak kullanarak arama sistemini köklü olarak değiştirmekti. Bu teorinin arkasındaki fikir ise, bir başka siteye link veren sitelerin bu linklerini, diğer sitelere güven olarak algılamaktı. Bu linkler oy olarak kullanılmaktaydı ve linkin içerisindeki yazılar, sıralamalar için kullanılmaktaydı. Diğer sitelerin verdiği varsayılan bu oylar sayesinde sıralamalar gerçekleştirilmekteydi.

Bu teknoloji oldukça heyecan yaratıcıydı ve Brin ile Page, bu teknolojiyi söylenene göre 750.000 dolar karşılığında satmaya çalıştılar. Neyse ki kimse bu teknoloji ile ilgilenmedi. Tekrar çalışmaya başlayan Page ve Brin, teknolojiyi geliştirdiler ve 2000 yılına ulaştığımızda Google, Dünya'nın en büyük arama motoru haline gelmişti.

Google'ın listenin tepesinde kalmasının arkasındaki en büyük sebep "uyumluluk" olarak özetlenebilir. Pazarlamacılar ve arama motoru uzmanları sistemleri manipüle etmeyi çözdükleri sırada, Google sistemi değiştiriyor. Sosyal medya gibi yeni teknolojiler günlük konuşmalarımızda aktif bir rol almaya başladıklarında, Google bu yeni mecraları algoritmasının içine yerleştirmek için yollar buluyor. Arama alışkanlıkları değiştiğinde, Google da bu alışkanlıklarla kendini değiştiriyor. Google sürekli izliyor, analiz ediyor ve gelişiyor. Her birimizden topladıkları büyük boyutlardaki verileri en iyi şekilde kullanarak, sürekli olarak bizlere daha iyi ve daha gelişmiş seçenekler sunuyorlar; sürekli olarak rakiplerinden daha "alakalı" sonuçlarla karşımıza çıkıyorlar.

Arama motorları, sürekli olarak birbirlerine ve açık olarak gözükmeyen sorunlara karşı savaş vermekteler. En iyi olmak için en ilgili cevapları en hızlı bir şekilde sunmaya çalışan arama motorları, sürekli olarak algoritmalarını değiştirmekteler. Bu konudaki en heyecan verici örneklerden biri de, Google tarafından patenti alınmış olan "Knowledge-Based Trust score" olarak gözükmekte. Her ne kadar Google bu patenti yakın zaman içerisinde arama algoritmasında kullanmayacağını söylemiş olsa da, bu sistemin sunduğu olasılıklar heyecan verici. Google'ın bu sistemi, yapmış olduğunuz aramalarda karşılaştığınız kötü sonuçları kaydederek, sitelerin sıralamalarını sürekli olarak düzenlemekte. Sonuç olarak önümüzdeki birkaç yıl içerisinde arama motoru teknolojisinin nasıl bir hal alacağını tam olarak tahmin etmek oldukça zor gözüküyor. Bununla beraber, neredeyse her sorumuza anında cevap bulabileceğimiz bir çağa hızla yaklaştığımız kesin...

Peki arama motoru tarihinde bugüne kadar neler gördük? Kimler geldi, kimler geçti? Google nasıl 1 numaraya oturdu; bu koltukta kalmayı nasıl başarıyor? Peki, arama motorlarının geleceğinde neler var?

Archie, genellikle ilk arama motoru olarak düşünülür. Her ne kadar şu anda ilkel gözükse de Archie, kamuya açık FTP sitelerini düzenlemeye yarıyordu ve kullanıcıların belirli dosyaları bulmalarını sağlamaktaydı. Bu arama motoru, World Wide Web öncesindeydi; yani Archie sunucularına yerel bir client veya Telnet aracılığı ile ulaşmanız gerekmekteydi. Archie sayesinde Veronica, Jughead, VLib, Gopher ve diğer benzerleri şekilde çalışan pek çok teknolojinin ileri atılması sağlandı. Bu teknolojiler, çabuk bir şekilde daha yenileri ile yer değiştirmiş olsalar da bu arama motorları, arama endüstrisinin öncüleriydi.