Back to Question Center
0

Semalt veitir ábendingar um hvernig á að takast á við Bots, köngulær og crawlers

1 answers:

Að auki að búa til leitarvélar vingjarnleg vefslóðir leyfir .htaccess skráin vefstjóra að loka fyrir tilteknum botsum frá aðgangur að vefsíðunni sinni. Ein leið til að loka þessum vélum er í gegnum robots.txt skrána. Hins vegar segir Ross Barber, sem er sölustjóri , viðskiptavinahæfileikastjóri, að hann hafi séð nokkra crawlers hunsa þessa beiðni. Ein besta leiðin er að nota .htaccess skrá til að stöðva þau frá flokkun efnisins.

Hver eru þessi vélmenni?

Þeir eru tegund hugbúnaðar sem notaðar eru af leitarvélum til að eyða nýju efni af internetinu til verðtryggingar.

Þeir framkvæma eftirfarandi verkefni:

  • Farðu á vefsíður sem þú hefur tengt við
  • Athugaðu HTML kóða fyrir villur
  • Þeir spara hvaða vefsíður þú ert að tengja við og sjá hvaða vefsíður tengjast þínu efni
  • Þeir vísitölu innihaldsins

En sumir vélmenni eru illgjarn og leita á vefsvæðinu þínu fyrir netföng og eyðublöð sem eru venjulega notuð til að senda þér óæskileg skilaboð eða ruslpóst. Aðrir leita jafnvel öryggisskota í kóðanum þínum.

Hvað þarf til að loka vefskriðlarum?

Áður en þú notar .htaccess skrá þarftu að athuga eftirfarandi atriði:

1. Vefsvæðið þitt verður að birtast á Apache-miðlara. Nú á dögum, jafnvel þeim vefþjónustaafyrirtækjum sem eru hálf viðeigandi í starfi sínu, gefa þér aðgang að nauðsynlegum skrám.

2. Þú ættir að hafa aðgang að því að þú ert hrárþjónnaskrár vefsvæðis þíns svo að þú getir fundið hvaða bots hafa farið á vefsíður þínar.

Athugaðu að þú getur ekki lokað öllum skaðlegum botsum nema þú lokar þeim öllum, jafnvel þeim sem þú telur vera gagnlegar. Nýjar rætur koma upp á hverjum degi, og eldri eru breytt. Skilvirkasta leiðin er að tryggja kóðann þinn og gera það erfitt fyrir ruslana að spam þig.

Þekkja vélmenni

Bots geta verið auðkennd með IP-tölu eða frá "User Agent String" þeirra, sem þeir senda í HTTP hausunum. Til dæmis notar Google Googlebot.

Þú gætir þurft þennan lista með 302 botsum ef þú hefur nú þegar nafnið á láni sem þú vilt halda í burtu með .htaccess

Önnur leið er að hlaða niður öllum skrám skrár frá þjóninum og opna þau með því að nota textaritilinn. Staðsetning þeirra á þjóninum getur breyst eftir stillingum miðlara. aðstoð frá vefur gestgjafi þinn.

Ef þú veist hvaða síða var heimsótt eða heimsóknartíma er auðveldara að koma með óæskilegan lán. Þú getur leitað í skrána með þessum breytum.

Einu sinni hefur þú tekið eftir hvaða bots þú þarft að loka; Þú getur þá sett þau í .htaccess skrána. Vinsamlegast athugaðu að sljór botninn er ekki nóg til að stöðva það. Það kann að koma aftur með nýja IP eða nafn.

Hvernig á að loka þeim

Sækja afrit af .htaccess skrá. Gerðu afrit ef þörf krefur.

Aðferð 1: sljór með IP

Þessi kóðaaknippi felur í sér botninn með því að nota IP-tölu 197.0.0.1

Order neita, leyfa

neita frá 197.0.0.1

Fyrsti línan þýðir að þjónninn mun loka öllum beiðnum sem passa við mynstur sem þú hefur tilgreint og leyfa öllum öðrum.

Í annarri línunni segir miðlarinn að gefa út 403: bannað blaðsíðu

Aðferð 2: Blokkun eftir notanda umboðsmanni

Auðveldasta leiðin er að nota umritunarvél Apache

RewriteEngine On

RewriteCond% {HTTP_USER_AGENT} BotUserAgent

RewriteRule. - [F, L]

Fyrsta línan tryggir að umritunarþátturinn sé virkur. Lína tvö er ástandið sem reglan gildir um. "F" í línu 4 segir að þjónninn skili 403: Bannaður meðan "L" þýðir að þetta er síðasti reglan.

Þú hleður síðan .htaccess skránum á netþjóninn og skrifar yfir núverandi. Með tímanum verður þú að uppfæra IP tölvunnar. Ef þú gerir villu skaltu bara senda öryggisafritið sem þú gerðir.

November 29, 2017
Semalt veitir ábendingar um hvernig á að takast á við Bots, köngulær og crawlers
Reply