Hoe zoekmachines te blokkeren (met illustraties)

Zoekmachines zijn uitgerust met robots (webspiders of bots) die webpagina`s scannen en indexeren. Als uw website of pagina in ontwikkeling is of ongewenste inhoud bevat, kunnen robots verboden zijn om uw website te scannen en in te wisselen. Leer hoe u volledige sites, pagina`s en koppelingen kunt blokkeren met behulp van het robots-bestand.Txt of specifieke pagina`s en links met HTML-tags . Lees verder om erachter te komen hoe u de toegang tot inhoud tot bepaalde bots kunt verbieden.

Stappen

Methode 1 van 2:

Lock zoekmachines met behulp van het bestand Robots.TEKST

een. Bekijk het bestand Robots.TEKST. Robots-bestand.TXT is een eenvoudig tekstbestand of ASCII-bestand dat de webspinnen van zoekmachines vertelt aan welke delen van de site die ze kunnen openen. Bestanden en mappen vermeld in het Robots-bestand.Txt, kan niet worden gescand en geïndexeerd door zoekrobots. Gebruik het robots-bestand.Txt als:

U wilt bepaalde inhoud verbergen van zoekmachines;
U bent in het proces van het ontwikkelen van de site en bent niet klaar voor het scannen en indexeren van de site door spiders van zoekmachines;
U wilt de toegang tot gezaghebbende bots beperken.

2. Maak en sla het Robots-bestand op.TEKST. Open de gebruikelijke teksteditor of codeeditor voor een bestand om een bestand te maken. Sla het bestand op als robots.TEKST. De bestandsnaam moet met kleine letters worden geschreven.

Vergeet niet om "S" aan het einde toe te voegen.

Wanneer u het bestand opslaan, selecteert u de extensie ".TEKST ". Als u Word gebruikt, selecteert u de optie "Gewone tekst".

3. Maak Robots-bestand.Txt met onvoorwaardelijke versterking van de richtlijn. Onvoorwaardelijke Dislow-richtlijn zal u in staat stellen om zoekrobots van alle belangrijke zoekmachines te blokkeren, waardoor het scannen wordt vermeden en de site indexeren. Voeg de volgende regels toe aan het tekstbestand:

User-agent: * Niet toestaan: /

Gebruik een onvoorwaardelijke Dislow-richtlijn in het Robots-bestand.Txt is sterk niet aanbevolen. Wanneer de BOT, zoals Bingbot, dit bestand beschouwt, zal het uw site niet indexeren en de zoekmachine geeft het niet weer.

User-agenten (Gebruikersagenten) - Dit is een andere naam van Web Spiders of zoekrobots.

*: Een asterisk betekent dat de code van toepassing is op alle gebruikersagenten.

Weigeren: /: De duivel geeft niet aan dat de hele site is gesloten voor bots.

4. Maak Robots-bestand.Txt met alemaandelende richtlijn. In plaats van alle bots te blokkeren, overweeg dan het blokkeren van de toegang van specifieke spinnen naar bepaalde delen van de site. Belangrijkste opdrachten van de toelatingsrichtlijn toestaan zijn ::

Bouw van een betonnen bot: Vervang de asterisk naast Gebruikersagent op de Googlebot, Googlebot-nieuws, GoogleBot-Image, Bingbot of Tea.

Een catalogus of de inhoud blokkeren:

User-agent: * Niet toestaan: / Sample-directory /

Een webpagina blokkeren:

User-agent: * Niet toestaan: / privé_file.HTML

Afbeelding blokkeren:

User-agent: GoogleBot-Imagedisallow: / Images_MeMateure.JPG

Blokkeren alle afbeeldingen:

User-agent: GoogleBot-Imagedisallow: /

Een apart bestandsformaat blokkeren:

User-agent: * Niet toestaan: / P *.jpg $

vijf. Voldoen aan bots om uw site te indexeren en te scannen. Veel mensen blokkeren niet alleen, maar integendeel, verwelkomen de aandacht van spiders van zoekmachines naar hun site, zodat deze volledig is geïndexeerd. Om dit te bereiken kunnen drie manieren zijn. Ten eerste kunt u weigeren het robots-bestand te maken.TEKST. Als de robot het Robots-bestand niet vindt.Txt, blijft uw hele site scannen en indexeren. Ten tweede kunt u een leeg robots-bestand maken.TEKST. Robot vindt het robots-bestand.TXT ziet dat het leeg is en zal de site blijven scannen en indexeren. Eindelijk kunt u een Robots-bestand maken.Txt met een onvoorwaardelijke resolutierichtlijn met behulp van de code:

User-agent: * Niet toestaan:

Wanneer de BOT, zoals Googlement, deze bestand beschouwt, kan u vrij uw hele website freelance bezoeken.

User-agenten (Gebruikersagenten) - Dit is een andere naam van Web Spiders of zoekrobots.

*: Een asterisk betekent dat de code van toepassing is op alle gebruikersagenten.

Weigeren: Lege Disallow-opdracht betekent dat alle bestanden en mappen beschikbaar zijn.

6. Sla het tekstbestand op in de hoofdmap van het domein. Na het bewerken van het bestand Robots.Txt sla de wijzigingen op. Plaats het bestand in de hoofdmap van de site. Als u bijvoorbeeld een domein hebt Youndomain.Com, Plaats het robots-bestand.Txt op adres Youndomain.Com / robots.TEKST.

Methode 2 van 2:

Slot zoekmachines metatega`s

een. Bekijk de HTML-metategrobots. Metaterrobots kunnen programmeurs parameters instellen voor bots of zoekmachine spiders. Met de hulp van deze tags zijn bots verboden om de hele site of afzonderlijke delen in te indexeren en te scannen. U kunt ze ook gebruiken om een specifieke zoekmachinespin uit inhoudsindexering te blokkeren. Deze tags zijn opgegeven in de HTML-bestandskop.

Deze methode wordt vaak gebruikt door programmeurs die geen toegang hebben tot de hoofdmap van de site.

2. Schakel toegang tot bots uit op één pagina. Pagina-indexering en / of inloggen op de pagina op de pagina die u kunt verbieden voor alle bots. Deze tag wordt meestal gebruikt wanneer de site in ontwikkeling is. Nadat de site is voltooid, wordt het sterk aanbevolen om deze tag te verwijderen. Als u de tag niet verwijdert, wordt de pagina niet geïndexeerd of beschikbaar voor het zoeken via zoekmachines.

Schakel de bots uit om de pagina in te voegen en op een van de links te gaan:

 Naam = "Robots" -inhoud = "Noindex, Nofollow">

Schakel alle bots uit om de pagina te indexeren:

 Naam = "Robots" -inhoud = "Noindex">

Verbied alle bots om op de koppelingen op de pagina te gaan:

 naam = "robots" -inhoud = "nofollow">

3. Laat de bots de pagina indexeren, maar ga niet naar zijn links. Als u bots toestaat om de pagina in te indexeren, wordt deze geïndexeerd. Als u spinnen verbiedt om de koppelingen in te schakelen, wordt de manier waarop de link van deze pagina naar anderen wordt geblokkeerd. Plaats de volgende codelijn in de titel:

 Naam = "Robots" -inhoud = "Index, Nofollow">

4. Laat de spiders van zoekmachines over de links, maar indexeer de pagina niet. Als u de bots toestaat om op de links te gaan, blijven de padverbindingen van deze pagina naar anderen open. Als u de bots uitschakelt om de pagina in te indexeren, wordt deze niet weergegeven in de index. Plaats de volgende codelijn in de titel:

 Naam = "Robots" -inhoud = "Noindex, volg">

vijf. Blokkeer uitgaande link. Om de ene link op de pagina te verbergen, plaatst u de tag Rel In de tag-referentie . Gebruik deze tag om links op andere pagina`s te blokkeren die leiden naar een specifieke pagina die u wilt blokkeren.

 href ="Youndomain.HTML" Rel ="Nofollow"> Plaats de link naar de vergrendelde pagina

6. Blokkeer een specifieke zoekspin. In plaats van de toegang tot een pagina voor alle bots te blokkeren, stelt u het verbod op het scannen en indexeren van de pagina alleen voor één bot. Om dit te doen, vervangt u het woord "robots" in de naam van de metatheg van een specifieke bot. Voorbeelden: Googlebot, Googlebot-nieuws, GoogleBot-Image, Bingbot en Tea.

 Naam = "BingBot" -inhoud = "Noindex, Nofollow">

7. Verbeter bots om de pagina te scannen en indexeren. Als u ervoor wilt zorgen dat de pagina wordt geïndexeerd, en de links schakelen, voegt u de resolutie metatag "robots" aan uw header toe. Gebruik de volgende code:

 Naam = "Robots" Content = "Index, volg">

Deel in het sociale netwerk: