Indeksoitu, vaikka robots.txt on estänyt ongelmakorjauksen bloggaajassa Kuinka korjata robottien estämä indeksoitu indeksointi

Olen tarkistanut verkkosivustoni virheitä google-konsolissa, ja olen sitä mieltä, että se on virheellinen Googlebot blocked by robots.txt ja se näyttää linkin https://static.doubleclick.net/instream/ad_status.js, jota en käyttänyt projektissani. mikä se on ? robottini ovat tämä

User-agent: * Disallow: / 

Kuinka voin korjata tämän virheen?

  • 2 Että robots.txt kieltää kaiken sivustollasi, haluatteko sitä?
  • Doubleclick on Googlen omistama mainosyritys. Haluatko AdSense- tai muita mainoksia verkkosivustollasi?
  • 1 Et ole ehkä käyttänyt kyseistä komentosarjaa projektissasi, mutta AdSense-komentosarjat on joskus esiasennettu useiden moduulien, laajennusten, kolmansien osapuolten palveluiden kanssa ja niitä tuetaan, koska tämä on suosittu tapa ansaita rahaa sivustollesi. Tämä on suoramainosten komentosarja (voi liittyä videomainoksiin). Voit poistaa sen manuaalisesti backend-tiedostoistasi, jos haluat, mutta varmista, että tiedät, mihin se vaikuttaa. Google haluaa indeksoida JS-tiedostosi, mutta robottitiedostosi estää tämän, joten kerrot, että on JS-tiedostoja, joihin se ei voi käyttää. Jos haluat, että sivustosi indeksoidaan, poista vinoviiva riviltä 2.
  • mikä asia kielletään? Ei, minulla ei ole mainoksia sivuillani. @StephenOstermiller
  • @HenryVisotski Kiitos paljon arvokkaista tiedoista. Tarkoitat sen olevan näin:? User-agent: * Disallow: (Kielletään vain:)?

Epäilen, että näytät meille estetyn linkin robots.txt-tiedoston. robots.txt-tiedostot vaihtelevat sivustokohtaisesti. Tässä tapauksessa https://static.doubleclick.net/robots.txt.

doubleleclick itse sanovat, älä indeksoi sivustoamme. Se on hieno, koska Googlebot ei ole kiinnostunut mainoksista. Useat kolmannen osapuolen seurantajärjestelmät tekevät samoin. Ei ole mitään syytä huoleen.

Oman sivustosi robots.txt-tiedosto näyttää erilaiselta ja on todennäköisesti hieno.

  • Ok Tony, joten tarkoitat, ettei sinun tarvitse muuttaa mitään?
  • Jep. Keskity johonkin muuhun.

Sinun robots.txt tiedosto on väärä. Estät sivuston indeksoinnin GoogleBot tai joku muu indeksoija. Jos haluat, että jokainen botti käyttää sivustoasi, sen pitäisi olla seuraava:

User-agent: * Allow: / 

Ottaen huomioon https://static.doubleclick.net/instream/ad_status.js virhe, Jos varoitus / virhe koskee sivustoa, joka ei ole sinun hallinnassasi, mielestäni se on kunnossa eikä se vaikuta mihinkään.

työskennellyt sinulle: Charles Robertson | Haluatko yhteyttä?

hyödyllistä tietoa