Back to Question Center
0

Semalt: A Darodar Robots.txt blokkolása

1 answers:

A Robots.txt fájl tipikus szövegfájl, amely útmutatást tartalmaz arra vonatkozóan, hogyan kell a webrobotok vagy botok bejárni egy webhelyet. Alkalmazása nyilvánvaló keresőmotor botok, amelyek gyakori számos optimalizált weboldalak. A robots exclusion Protocol (REP) részeként a robots.txt fájl a webtartalom indexelésének lényeges elemét képezi, valamint lehetővé teszi a kiszolgáló számára a felhasználói kérelmek hitelesítését.

Julia Vashneva, a Semalt vezető ügyfelek menedzsere elmagyarázza, hogy az összekapcsolás a Search Engine Optimization (SEO) egyik aspektusa, amely magában foglalja a forgalmat a réstől származó más területekről. A "kövesse" linkeket az átviteli hivatkozás lé számára feltétlenül tartalmaznia kell egy robots.txt fájlt az Ön weboldalán, amely helyet biztosít az oktatónak, hogy hogyan működjön együtt a webhelyével. Ebből az archívumból az utasítások az adott felhasználói ügyfelek működésének engedélyezésével vagy tiltásával kapcsolatosak.

A robots.txt fájl alapformátuma

A robots.txt fájl két lényeges vonalat tartalmaz:

Felhasználói ügynök: [user-agent name]

Disallow: [Nem kell feltérképezni az URL-címet]

A teljes robots.txt fájlnak ezt a két sort kell tartalmaznia. Azonban néhány közülük többféle felhasználó-ügynököket és irányelveket tartalmazhat. Ezek a parancsok olyan aspektusokat tartalmazhatnak, mint például a letiltás, a letiltás vagy a feltérképezés késleltetése. Általában egy sortörés van, amely elválasztja az egyes utasításokat. Az engedélyezési vagy tiltási utasítások mindegyike ezt a sortörést választja el, különösen a robots.txt több sorral.

Példák

Például egy robots.txt fájl tartalmazhat olyan kódokat, mint például:

Felhasználói ügynök: darodar

Disallow: / plugin

Disallow: / API

Disallow: / _comments

Ebben az esetben ez egy blokk robots.txt fájl, amely korlátozza a Darodar webrobotot a webhelyére való belépéshez. A fenti szintaxisban a kód blokkolja a webhely szempontjait, például a plug-ineket, az API-t és a megjegyzéseket. Ebből a tudásból számos előnye származhat a robot szövegfájljának hatékony végrehajtásából. Robotok..A txt fájlok számos funkciót képesek elvégezni. Például készen állhatnak arra, hogy:

1. Engedélyezze az összes webrobotok tartalmát webhelyoldalra. Például:

Felhasználói ügynök: *

Disallow:

Ebben az esetben az összes felhasználói tartalom elérhetõ bármely olyan webrobothoz, amelyre kértek egy weboldal elérését.

2. Egy meghatározott webes tartalom blokkolása egy adott mappából. Például:

Felhasználói ügynök: Googlebot

Disallow: / példány-alkönyvtár /

A Googlebot felhasználói nevét tartalmazó szintaxis a Google-hoz tartozik. Korlátozza a botot a www.ourexample.com/example-subfolder/.

karakterláncban található bármely weboldal eléréséhez

3. Egy adott webrobot letiltása egy adott weboldalról. Például:

Felhasználói ügynök: Bingbot

Disallow: /example-subfolder/blocked-page.html

A felhasználó-ügynök Bing bot a Bing webrobotokhoz tartozik. Ez a fajta robots.txt fájl korlátozza a Bing webrobotját arra, hogy hozzáférjen egy adott oldalhoz a www.ourexample.com/example-subfolder/blocked-page.

Fontos információ

  • Nem minden felhasználó használja a robts.txt fájlt. Egyes felhasználók úgy dönthetnek, hogy figyelmen kívül hagyják. A legtöbb ilyen webrobot tartalmaz trójaiakat és kártékony programokat.
  • Ahhoz, hogy a Robots.txt fájl látható legyen, elérhetőnek kell lennie a legfelső szintű webes könyvtárban.
  • A "robots.txt" karakterek kis- és nagybetűkre érzékenyek. Ennek következtében semmilyen módon nem szabad megváltoztatnia őket, beleértve bizonyos aspektusok tőkésítését.
  • A "/robots.txt" nyilvános domain. Bárki láthatja ezt az információt, amikor hozzáfűzi az URL bármely tartalmához. Ne mutasson olyan lényeges részleteket vagy oldalakat, amelyekről azt szeretné, hogy titokban maradjanak.
November 29, 2017
Semalt: A Darodar Robots.txt blokkolása
Reply