Gönderen Konu: Robots.txt dosyası hakkında herşey Burada  (Okunma sayısı 7479 defa)

0 Üye ve 1 Ziyaretçi konuyu incelemekte.

Çevrimdışı CybeR.BoyS

  • aRsinLi
  • Master Üye
  • *
  • İleti: 1060
  • Saygınlık Puanı: 83
  • Cinsiyet: Bay
  • TR-abz10Lee
    • Www.Smfmod.coM
  • Smf Sürümü: Smf 2.0.2
  • Web Siteniz: Www.Smfmod.coM
Robots.txt dosyası hakkında herşey Burada
« : 28 Nisan 2010, 17:29:11 »
::… robots.txt dosyası hakkında herşey …::  robots.txt ne işe yarar ? ..::  arkadaşlar farklı anlatımlarla robots.txt dosyası :::


 Arama motorlarının robotları web sitelerini incelerken ilk   olarak bu dosyayı ararlar.
  Çünkü bu dosya , robotların hangi sayfaları indexlenip   hangilerinin indexlenmeyeceği hakkında yön verir.
  Özellikle sitenizdeki bir dosya yada klasörün indexlenmesini   istemiyorsanız bu dosya ile belirtebilirsiniz
   
Robots.txt dosyasını nereye koymalıyım ?
Bu dosyayı FTP ‘nizden ana dizine yüklemeniz gerekmektedir.

Robots.txt nasıl kullanılır ?
  robotların sitenizin heryerini indexlemesini istiyorsanız ;
  User-agent: *
  Disallow:

  Not: Boş bir robots.txt dosyası da aynı mesajı verecektir.

  Robotların bazı klasörlerinizi indexlemesini engellemek   istiyorsanız; 
  User-agent: İzin verilen robotlar (* : Bütün Botlara izin   verir)
  Disallow: İzin verilmeyen klasör yada sayfa adı
  User-agent: *
  Disallow: /cgi-bin/ (Klasör İsmi)
  Disallow: /tmp/ (Klasör İsmi)


  Buna bir de sayfa eklemek istiyorsanız;
  User-agent: * (Bütün Robotlar)
  Disallow: /cgi-bin/ (Klasör İsmi)
  Disallow: /tmp/ (Klasör İsmi)
  Disallow: /admin/administrator.php (Klasör İsmi/Sayfa İsmi)


  Bir robotun bu klasörlerinize girmesini engellemek istiyorsanız;
  User-agent: WebCrawler (Botun İsmi)
  Disallow: /cgi-bin/ (Klasör İsmi)
  Disallow: /tmp/ (Klasör İsmi)


  bir robotun sitenize girişini engellemek istiyorsanız;
  User-agent: BadBot (Botun İsmi)
  Disallow: / (Robota İzin Yok)


robots.txt dosyası arama motorları ve örümceklere   sitenizdeki dosya ve klasörleri gezip kayıt etmeleri için izin veren ya   da engelleyen dosyadır. Dosya kendi başına normal bir text dosyasından   farksızdır ve basit şekilde Notepad ile hazırlanabilir. Anasayfanızın ya   da sitenizin bulunduğu ana klasöre koyulmalıdır.

Neden robots.txt dosyasına ihtiyaç duyarız?

Tüm önemli arama motorları, sitenize girer girmez öncelikli   olarak bir robots.txt dosyası arar. Sitenizin herhangi bir bölümüne,   örümceklerin girmesini istemiyorsanız ya da girmelerini engellemek   istemiyorsanız bile bir robots.txt dosyası bulundurmak her zaman için   yararlıdır. Çünkü bu dosya örümcekler için bir karşılama dosyası, menü   gibi görev yapar.

Neden örümcekleri engellemek isteyebilirim?

Site henüz tamamlanmamış olabilir. Ya da henüz tam olarak   bitmemiş sayfalar içeriyor olabilir. Ve bu durumda sitenizin ya da   sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.
  Şifrelemeye gerek duymadığınız ama yine de sizin için özel olan   bir içeriğe ya da sitenizde bir bölüme sahip olabilirsiniz ve bunun   arama motorları tarafından kayıt edilmesini ve aramalarda çıkmasını   istemeyebilirsiniz.
  Hata sayfalarının, cgi-bin gibi klasörlerin ya da teşekkür   ettiğiniz, içinde sadece “tamam” gibi kısa mesajlar bulundurduğunuz   dosya ve klasörlerinizin kayıt edilmesi kimsenin işine yaramayacaktır.
  Birbirine benzeyen, geçişli sayfalarınız varsa bütün robotların   aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski doğurabilir.

  Yer almak istemediğiniz arama motorlarından ya da e-mail   toplayan zararlı örümceklerden robots.txt dosyası aracılığıyla   kurtulabilirsiniz.

Nasıl Robots.txt dosyası oluşturabilirim diyorsanız !  Eğer sitenizdeki sayfaların tamamının arama motoru   veritabanına kaydedilmesini istiyorsanız notepad ile boş bir text   dosyası açın ve aşağıdakileri yazın ;
  User-agent: *
  Disallow:

  Burada User-agent arama motoru örümceğini belirtir.   Mesajın hangi arama motoru örümceği için geçerli olduğunu belirtir.   Yanındaki * işareti ise tamamı anlamına gelir. Yani User-agent: *   komutu, robots.txt dosyasındaki yazılı komutların bütün arama motoru   örümcekleri için geçerli olduğunu belirtir. Daha iyi anlamak için   Google’nin örümceği olan Googlebot ile MSN arama motoru örümceği olan   Msnbot için ayrı ayrı komutlar girelim.

  User-agent: Googlebot
  Disallow:   
  User-agent: Msnbot
  Disallow: /gizli.html


  Yukarıda görüldüğü gibi iki farklı örümceğe farklı  görevler verdik. Googlebot’dan sonra gelen disallow bölümü boş oluğu   için sitemizin tüm sayfaları google veritabanına kaydedilir. Ancak   Msnbot’dan sonra gelen disallow komutuna /gizli.html yazdık. Yani Msnbot   sitemize uğradığı zaman gizli.html sayfasına girmeyecek ve bu sayfayı   veritabanına eklemeyecek.

  Şimdi disallow komutuna daha detaylı bakalım ve bir kaç   örnekle bilgilerimizi pekiştirelim. Eğer sayfaların kaydedilmesini   engellemek istiyorsak Disallow komutu yanına “/” işareti koyarak   sayfanın adını yazmamız gerekir. Eğer bir klasörün içindeki bütün   sayfaları engellemek istiyorsak Disallow: /engellenenklasor/ şeklinde   komut eklememiz gerekir. Eğer sitenin tamamen kaydedilmesini engellemek   istiyorsak disallow komutu yerine sadece “/”koymamız gerekir. Şimdi   örneklerle tekrar edelim.  Bir sayfanın kaydedilmemesini istiyorsak:
  User-agent: *
  Disallow: /gizli.html     

Birden fazla sayfanın kaydedilmemesini istiyorsak   ek disallow komutu ekleriz:
  User-agent: *
  Disallow: /gizli.html
  Disallow: /sakli.html


  Sitenin tamamının kaydedilmemesini istiyorsak:
  User-agent: *
  Disallow: /


  Sitedeki bir klasörün kaydedilmemesini istiyorsak:
  User-agent: *
  Disallow: /ozelklasor/


  Sitemizdeki iki klasör ve bir sayfanın kaydedilmemesini   istiyorsak:
  User-agent: *
  Disallow: /resimlerim/gizliresim.html
  Disallow: /projelerim/
  Disallow: /ozelklasor/


  Şimdi biraz da User-agent komutu ile oynayarak örnekler   verelim. Sitemizi msnbot’un kaydetmemesini ama diğer arama motorlarının   kaydetmesini sağlayalım:
User-agent: Msnbot
  Disallow: /
  User-agent: *
  Disallow:


  Tüm arama motorları sitemizi kaydetsin. Ama Google ile   Msn birer klasör kaydetmesin istiyorsak:

User-agent: *
  Disallow:
  User-agent: Googlebot
  Disallow: /gizli/
  User-agent: Msnbot
  Disallow: /sakli/


  Bütün olasılıkları değerlendirerek robots.txt dosyaları   oluşturduk. Eğer sitenizde engellemek istediğiniz sayfa veya klasör   varsa bu komutlardan uygun olanını kendi sitenize göre ayarlayın ve   notepad ile boş bir txt dosyası açarak bu komutları yazın. Daha sonra bu   dosyayı sitenizin ana klasörüne yani sitenizdeki index.html sayfasının   olduğu klasöre gönderin.  Eğer engellemek istediğiniz sayfa daha önce arama   motorları tarafından kaydedildiyse, robots.txt dosyasını gönderdikten   bir süre sonra silinecektir. Ama bu süre 1-2 ay gibi bir zaman olabilir.     Arama motoru optimizasyonu (SEO) yaparken en önemli   noktalardan biri robots.txt kullanmaktır.    Robots.txt dosyasını herhangi bir text editor ya da notepad   ile oluşturabilirsiniz. Temelde içeriği şu şekildedir :
   User-Agent: [Örümcek ya da Bot ismi]  Disallow: [Klasör ya da Dosya ismi]

Robots.txt ile belirli bir dosyayı belirli bir bottan   korumak istiyorsanız ;  “şiirler” diye bir bölüm oluşturdunuz,tamamlanmadan   robotların indexlemesini istemiyorsunuz. Bu durumda, hedef tüm robotlar   olduğu için özellikle robot ismi belirtmek yerine yıldız işareti “*”   kullanmalısınız. Bu tüm robotları kapsayacaktır.
  User-Agent: *
  Disallow: /şiirler/


  Koruduğunuz bölüm isminin başına ve sonuna slah işareti “/”   koymanız o klasördeki tüm dosyaları kapsar.  Tüm robotlara kayıt izmi vermek  Hedefimiz yine tüm robotlar olduğu için yıldız “*” işareti   kullanarak Disallow bölümünü boş bırakıyoruz.

  User-agent: *  Disallow:


Tüm robotları dosya ve klasörlerinizden uzak tutmak
  User-agent: *  Disallow: /

Robots.txt ile birden fazla klasör engellemek  Ayarları dikkatli bir şekilde yapmalısınız. Yoksa   istemediğiniz dosya ve klasörleri kayıt ettirebilir, istediklerinizi   engelleyebilirsiniz. Diyelim ki “cgi-bin” klasörünüzün içindeki bazı   dosyaların kayıt edilmesini istemiyorsunuz.
  User-agent: *
  Disallow: /cgi-bin/
  Disallow: /_borders/
  Disallow: /_derived/
  Disallow: /_fpclass/
  Disallow: /_overlay/
  Disallow: /_private/
  Disallow: /_themes/
  Disallow: /_vti_bin/
  Disallow: /_vti_cnf/
  Disallow: /_vti_log/
  Disallow: /_vti_map/
  Disallow: /_vti_pvt/
  Disallow: /_vti_txt/


  Her klasör için ayrı bir komut yazmak gerekiyor.

  Sadece Altavista örümceğinin girmesini istemediğimiz   klasörümüze, Altavista robotunun ismi olan Scooter ı ekliyoruz.

  User-Agent: Scooter  Disallow: /

  Google’ın resim dosyalarımızı indexlemesini istemiyorsak ;
User-Agent: Googlebot-Image
 Disallow: /images/


  Eğer dosyalarınız “images” klasöründe değil ve dağınık olarak   değişik yerlerdeyse o zaman :
  User-Agent: Googlebot-Image
  Disallow: /


Robots.txt Dosyası Ve Ayarları

  Google web tarama botlarından sitenizde yer alan klasörlerinizi   korumak istiyorsanız robots.txt dosyasını kullanmalısınız. Örneğin bir   klasör (örnek olarak seo klasörü olsun) ve içerisinde yer alan tüm   dosyalarınızı google botlarından bloklamak için yazmanız gereken kod :
  User-agent: Googlebot
  Disallow: /seo


  Dosya tiplerini bloklamak için : ( Bu kod ile .gif dosyalarını   indekslemesin diyoruz google botlarına)
  User-agent: Googlebot
  Disallow: /*.gif$


  Dinamik web sayfalarını bloklamak için :
  User-agent: Googlebot
  Disallow: /*?


  Ayrıca indexlenmesini istemediğiniz tekil sayfalar varsa metatag   bölümüne aşağıdaki kodu ekleyerek botların o sayfayı indekslemesini   önleyebilirsiniz :

  <meta name=”ROBOTS” content=”NOINDEX, NOFOLLOW” />


  Önemli Not : robots.txt dosyanızı sadece root klasörünüze   atmalısınız. Alt klasörlere koymamalısınız! Tekil dosyalar için   yukarıdaki metatagı kullanmanız faydalı olacaktır. Eğer robots.txt   kullanmazsanız google botları varsayılan olarak sitenize ulaşabildiği   (linklenmiş) tüm sayfa ve klasörleri indeksleyecektir.

Siteme erişimi kontrol etmek için robots.txt dosyası  kullanabilir miyim ?

robots.txt dosyası, web’de tarama yapan arama motoru   robotlarına (“bot” olarak bilinir) kısıtlama getirir. Bu botlar   otomatiktir ve bir sitenin sayfalarına erişmeden önce belirli sayfalara   erişmelerini önleyen bir robots.txt dosyası olup olmadığını kontrol   ederler.
  Yalnızca sitenizde arama motorlarının dizine eklemesini   istemediğiniz içerik varsa robots.txt dosyası gerekir. Arama   motorlarının sitenizdeki her şeyi dizine eklemesini istiyorsanız   robots.txt dosyasına (boş olanına bile) ihtiyacınız yoktur.
« Son Düzenleme: 28 Nisan 2010, 18:53:48 Gönderen: CybeR.BoyS™ »

Çevrimdışı <!Ümit!>

  • Master Üye
  • *
  • İleti: 1320
  • Saygınlık Puanı: 10
  • Cinsiyet: Bay
  • Chakkal
  • Web Siteniz: www.trsitesi.com
Ynt: Robots.txt dosyası hakkında herşey Burada
« Yanıtla #1 : 28 Nisan 2010, 17:35:22 »
Biraz Karışık Olmuş Düzenlenirse Daha İyi Olur :)

Çevrimdışı CybeR.BoyS

  • aRsinLi
  • Master Üye
  • *
  • İleti: 1060
  • Saygınlık Puanı: 83
  • Cinsiyet: Bay
  • TR-abz10Lee
    • Www.Smfmod.coM
  • Smf Sürümü: Smf 2.0.2
  • Web Siteniz: Www.Smfmod.coM
Ynt: Robots.txt dosyası hakkında herşey Burada
« Yanıtla #2 : 28 Nisan 2010, 18:54:17 »
Şimdi NasıL oLmuş Peki...

Çevrimdışı tanyurd

  • Master Üye
  • *
  • İleti: 1287
  • Saygınlık Puanı: 20
  • www.SmfMod.com
    • www.musellem.net
  • Smf Sürümü: Smf 2.0.4
Ynt: Robots.txt dosyası hakkında herşey Burada
« Yanıtla #3 : 28 Nisan 2010, 19:18:09 »
şimdi  yakışıklı  olmuşş... az  önce  simsiyah..  okyanın içi  kararacak  gibiydi.. ;)

Çevrimdışı CybeR.BoyS

  • aRsinLi
  • Master Üye
  • *
  • İleti: 1060
  • Saygınlık Puanı: 83
  • Cinsiyet: Bay
  • TR-abz10Lee
    • Www.Smfmod.coM
  • Smf Sürümü: Smf 2.0.2
  • Web Siteniz: Www.Smfmod.coM
Ynt: Robots.txt dosyası hakkında herşey Burada
« Yanıtla #4 : 28 Nisan 2010, 19:26:22 »
Evet benimde İçim Kararmıştı ama İşim vardı o zaman, Şimdi Daha hoş Durdu :)

Çevrimdışı kdR67

  • Master Üye
  • *
  • İleti: 1059
  • Saygınlık Puanı: 66
  • Cinsiyet: Bay
  • ;) ~
    • Birsaniye
  • Web Siteniz: birsaniye.net
Ynt: Robots.txt dosyası hakkında herşey Burada
« Yanıtla #5 : 15 Haziran 2010, 17:13:26 »
teşekkürler
Logo & Banner Tasarımı : 5 TL
İndex Tasarımı : 10 TL [Örnek]

İletişim : kdrkpnr@gmail.com

Çevrimdışı angaralı12

  • Yeni Üye
  • *
  • İleti: 31
  • Saygınlık Puanı: 0
  • Cinsiyet: Bay
    • Umut Zinciri
  • Web Siteniz: http://www.umutzinciri.com
Ynt: Robots.txt dosyası hakkında herşey Burada
« Yanıtla #6 : 07 Temmuz 2010, 19:42:07 »
Saolun hocam ya gerçekten çok dğerli bilgiler. Saygılar botlar gerçekten baş belası. :)
www.umutzinciri.com
<a href="http://www.umutzinciri.com" title="
Program, Video, Sohbet, Eğlence, Script, Roman, Hikaye, Gezelim,
 Görelim, Genel, Kültür, html, kodlar, Ücretsiz, Site, Açma, Resimli, Videolu, Anlatımlar" target="_blank">Umut Zinciri</a>

Çevrimdışı EresboSS

  • Yeni Üye
  • *
  • İleti: 9
  • Saygınlık Puanı: 0
    • torrent indir
  • Web Siteniz: http://s20myth.tk
Ynt: Robots.txt dosyası hakkında herşey Burada
« Yanıtla #7 : 25 Şubat 2011, 17:07:17 »
teşekkürler aklımda birkaç soru vardı sayenizde çözdüm iyi çalışmalar .

Çevrimdışı emin9696

  • Tam Üye
  • *
  • İleti: 175
  • Saygınlık Puanı: 5
  • Cinsiyet: Bay
  • www.emindir.com
    • Emindir
  • Smf Sürümü: Smf 2.0.2
  • Web Siteniz: http://www.emindir.com
Ynt: Robots.txt dosyası hakkında herşey Burada
« Yanıtla #8 : 14 Temmuz 2012, 21:13:58 »
Usta hep öğrenmek isterdim boşveriridim şimdi öğrendim :) Sağolun.
|| www.emindir.com | Herkezi Beklerim www.emindir.com ||

Beete

  • Ziyaretçi
Ynt: Robots.txt dosyası hakkında herşey Burada
« Yanıtla #9 : 21 Temmuz 2012, 03:37:32 »
botlar gerçekten baş belası. :)
Hocam robots.txt'ye engelleme koyarsanız zararlı botlara birşey olmaz arama motoru botlarını engellersiniz  :)

Çevrimdışı mert1i

  • Tam Üye
  • *
  • İleti: 126
  • Saygınlık Puanı: 2
  • Cinsiyet: Bay
  • SMF Zerdüş
    • PcdmisForum Kullnıcı forumu 3D measurement
  • Smf Sürümü: Smf 2.0.8
  • Web Siteniz: www.pcdmis.0fees.net
Ynt: Robots.txt dosyası hakkında herşey Burada
« Yanıtla #10 : 30 Nisan 2013, 15:26:49 »
peki rebots dosyasıyla forum ftp sindeki tüm klasörlerine ulaşmasına engel olursam forumu index lemesine de engel mi olmuş olurum.
yada şöyle sorayım robots.txt forum içerisindeki konuların indexlenmesine engel oluyormu
SMF 2.0.6

 

bodrum escort - escort bodrum - escort kayseri - malatya escort - escort bayan bodrum - Didim Escort Bayan - Escort Bayan Fethiye