* Piilotetut kohtaloni ovat täynnä! * Mahtavat Pokemon-kortit aukeavat!

Yritän seurata stackoverflow'n lähestymistapaa käyttää valkoista luetteloa sivustokartassa. Olen yrittänyt löytää kattavan luettelon hakukoneiden indeksoijista (ja muista indeksoijista) käytettäväksi valkoisessa luettelossani, mutta tähän mennessä löytämäni on vanhentunutta tietoa (ei ole päivitetty vuosien ajan). Onko verkossa mitään paikkaa, josta löydän säännöllisesti päivitetyn luettelon, joka sisältää jokaisen hakukoneen indeksoijan käyttäjäagentin ja sen verkkotunnuksen (käänteisen DNS: n kohdalla)?

Kiitos

Googlebotin vahvistaminen: Googlebotin vahvistaminen

Tämä näyttää kattavan BING: n epäsuorasti. Skripti, joka voi auttaa sinua kaventamaan, kun Bing on sivustollasi (PHP: ssä).

  • Kiitos. Luulen, että teen sen tällä tavalla (etsi yksityiskohdat jokaisesta botista erikseen). En aio lisätä liian monta bottia, vain suurimpia, joten se ei ole iso juttu. Toivoin vain säästää aikaa käyttämällä jo päivitettyä luetteloa, mutta valitettavasti sellaista ei näytä olevan.

Viittaamasi kysymys osoittaa, että vastaaja lisää käyttäjien agentit sallittujen luetteloon, ei tiettyihin hämähäkkeihin liittyvät verkkotunnukset tai IP-osoitteet.

Näyttää siltä, ​​että user-agents.org: lla on tyhjentävä luettelo, jos aiot työskennellä user-agent-merkkijonon kanssa.

  • Käyttäjäagenttien sallittujen luetteloon lisääminen ei riitä, koska ne voidaan helposti huijata (katso meta.stackexchange.com/questions/37231/…). En ole maininnut mitään IP-osoitteista, mutta tarvitsen verkkotunnuksen käänteiseen DNS-hakuun.
  • Seuraava looginen askel (sen jälkeen, kun käyttäjäagentit ja rDNS-tiedot * on lisätty sallittujen luetteloon) olisi lisätä IP-osoitteet luetteloon, jos olet huolissasi "luvattomasta" liikenteestä sivustokartassasi ... mutta sivustokartallasi olevat tiedot ovat tarkoitettu tulla julkisiksi jossain muodossa ennemmin tai myöhemmin. Oletko ajatellut, että sivustokarttasi lukitseminen on enemmän vaivaa kuin sen arvoinen? * - Huomautus: rDNS-tietueita voidaan myös huijata, jos se mainitaan.
  • Dan, olen samaa mieltä siitä, että tiedoston on oltava julkista, ellei sitä käytetään väärin. Stackoverflow tekee tämän hyvistä syistä, koska tiedostoa lataavat muut kuin hakukoneet-hämähäkit ja se kuluttaa liikaa kaistanleveyttä. IP-osoitteiden lisääminen sallittujen luetteloon ei ole oikeastaan ​​hyvä idea, koska ne voivat muuttua. On totta, että pelkkä rDNS ei riitä, siksi sinun tulisi tehdä seuraavaksi DNS-haku edelleen osana tarkistusta (katso google.com/support/webmasters/bin/answer.py?answer=80553)
  • Tangential: Jos kyseessä on väärinkäytön tilanne, voin itse asiassa suositella sallittujen IP-osoitteiden lisäämistä sallittujen luetteloon (ja laittomiksi tunnistamiesi IP-osoitteiden mustalle listalle lisäämistä) nopeuttamaan asioita - kun olet todennanut käyttäjäagentin ja liittänyt sen eteenpäin ja käänteiset DNS-tietueet on melko turvallista olettaa väärinkäyttöä tapa naamioitu identtisten tunnistetietojen alle (ja päinvastoin) ... mutta jos väärinkäyttöä ei tällä hetkellä tapahdu, se on paljon lisätyötä marginaalisen hyödyn saavuttamiseksi (ts. linkittämäsi asiakirja päättyy neuvoja käyttää vain käyttäjäagentin merkkijonoa).

Ehkä parempi lähestymistapa kuin jokaisen hakukoneen lisääminen sallittujen luetteloon on valita kolme suurta (Google, Yahoo, Bing) ja mahdollisesti Ask (joiden tiedetään tukevan myös sivustokarttoja).

Kaikkien niiden lisääminen sallittujen luetteloon näyttää olevan pitkä, vaikea ja lopulta turha tehtävä. Voit silti kirjata, kuka paukuttaa ovea, ja laajentaa luetteloa sen perusteella.

  • Itse asiassa en suunnitellut kaikkien niiden lisäämistä sallittujen luetteloon, mutta toivoin, että siellä on luettelo kaikista tarvittavista tiedoista, jotta voin noutaa ne, jotka haluan lisätä sallittujen luetteloon.

työskennellyt sinulle: Charles Robertson | Haluatko yhteyttä?

hyödyllistä tietoa