Kuinka luoda robots.txt-tiedosto ja sitemap.xml-tiedosto SEO: lle

Kysymykseni koskee määritelmää Indeksointivirheet sisään Googlen verkkovastaavan työkalut. Indeksointivirheet on jaettu muutamaan osaan.

Tarkastellaan ensin HTTP -osiossa.

Oletan, että indeksointirobotti löysi jotenkin tämän osan rikkinäiset linkit, tämä ei ole linkkejä sivustokartasta. Jos kaikki nämä linkit löydettiin etsimällä sivuja sivustokartalta linkkien löytämiseksi, miksi siinä ei mainita lähdesivua, kuten sivukarttaosassa sarakkeella Linkitetty lähteestä. Korjaa minut, jos olen väärässä.

Sivukartta -osiossa.

Näyttää siltä, ​​että kaikki nuo linkit tulivat sivustokartaltani. Mutta siellä on Linkitetty lähteestä sarakkeesta, tiedän jo, että kaikki nämä rikkinäiset linkit ovat peräisin sivustokartasta, joten virheen korjaamiseksi minun on tarkistettava sivustokarttani. Olenko väärässä?

Ei seurattu -osiossa.

En tiedä mitä se tarkoittaa. Näyttää siltä, ​​että se kerää kaikki uudelleenohjauksen aiheuttaneet linkit, mutta jostain syystä Google pitää kaikkia näitä uudelleenohjauksia väärinä uudelleenohjauksina. Tiedätkö onko olemassa sääntöjä väärän uudelleenohjauksen määrittämiseksi. Itse löysin virheeni, yritin normalisoida URL-osoitteen ja ohjata sen oikeaan URL-osoitteeseen, mutta normalisoin väärin.

Ei löydetty -osiossa.

Tämä osio muistuttaa HTTP-osiota, mutta siinä on 404 virhettä. Tässä osiossa on Linkitetty lähteestä sarake. Mutta hyvin usein Linkitetty lähteestä on ei käytettävissä. Mitä se tarkoittaa, Google ei voi sanoa minulle, kuinka se löysi tämän olemassa olevan sivun. Kuinka tämä osio liittyi sivustokarttaosioon. Sisältääkö tämä osio myös kaikki 404 linkkiä sivustokartalta. Mutta 404 linkkiä on liikaa, paljon enemmän kuin sivustokartassa. Yritin katsoa mitä meillä on Linkitetty lähteestä, ja näin, että tämä linkki tuli sivustokartasta kaksi kuukautta sitten. Mutta miksi Google pitää sen indeksoituna, linkki on jo kuollut, uudessa sivustokartassa ei sitä ole. Jos vanhoille linkeille on vanhentumispäivä?

Ei tavoitettavissa -osiossa.

Näyttää siltä, ​​että tässä osiossa on 500 virhettä. Tämä osio ei sisällä Linkitetty lähteestä sarake. Liian monia täysin merkityksettömiä linkkejä on, en todellakaan tiedä mistä nämä jutut ovat tulleet, ja ilman Linkitetty lähteestä En pysty selvittämään, miten käsitellä sitä.

Anteeksi niin suuresta aiheesta, mutta haluan vain tehdä selväksi, mitä jokainen osa tarkoittaa, koska se on äärimmäisen tärkeää kaikkien näiden ongelmien ratkaisemiseksi. Toivottavasti siitä on hyötyä paitsi minulle.

Kiitos!

  • 1 Katsoin näiden raporttien ohjetiedostoa google.com/support/webmasters/bin/... ja se vastaa useimpiin kysymyksiisi. Ne, joihin se ei vastaa - onko olemassa vanhentumispäivä? En usko, että kukaan tietää kuinka kauan ennen kuin Google luopuu huonoista linkeistä. Voit tällä välin lisätä uudelleenohjauksen kyseisille sivuille. Merkityksettömät linkit - emme voi auttaa tietämättä lisätietoja.
  • minulla on sama asia. 500 virheitä linkeissä, jotka eivät tule minulta ja joilla on virheellisiä parametreja.

Luulen, että olet enimmäkseen oikeassa oletuksissasi.

Ensimmäinen HTTP osio näyttää kaikki 4xx-virheet lukuun ottamatta 404-virheitä (jotka ovat paljon yleisempiä, joten hanki oma sivu). Saan 400 (virheellinen pyyntö) virhettä CodeIgniteriltä, ​​joka kieltää tietyt merkit URL-osoitteissa. 403 (kielletty) ovat myös täällä.

sivukartta -osassa kerrotaan vain mikä tahansa sivustokartan URL-osoite, jota ei löydy. "Linkitetty kohteesta" -osio on hyödyllinen, joten jos sivua ei enää ole, voit poistaa linkit siihen.

En ole koskaan nähnyt ei seurata -osio, mutta kuulostaa siltä, ​​että siinä luetellaan kaikki URL-osoitteet, joihin on linkki rel = ofollow.

Ei löydetty on jokainen 404-virhe. Se luultavasti listaa sivusi sivustokartassasi, koska ilmeisesti niihin on linkitettävä sivustollasi (toisin sanoen vain sivukartassa olevaa sivua, johon ei ole linkkejä mihinkään, ei näy tässä).

Ei tavoitettavissa on 5xx virheitä kuten sanoit, jotka ovat palvelinvirheitä. "Linkitetty lähteestä" ei näy tässä, koska sillä ei ole merkitystä, mikään sivu ei saa koskaan palauttaa 5xx-virhettä.

  • Olen samaa mieltä siitä, että sivujen ei pitäisi palauttaa 5xx-virheitä, mutta joskus "linkitetty lähteestä" on hyödyllinen tässä yhteydessä (ainakin sen määrittämiseksi, mitä aiot tehdä asialle) - esimerkiksi jos sinulle lähetetään virheellinen kysely parametrit pudotusvalikosta, saatat haluta vahvistaa, että ne eivät tule sivustoltasi.
  • En ole varma, kuinka voin selittää tämän paremmin, mutta "ihannetapauksessa" ei ole mitään, 5xx-virheitä ei pitäisi koskaan tapahtua. Se on palvelinongelma, ei mitään tekemistä sen kanssa, kuka linkittää sinulle tai mitä parametreja he lähettävät.
  • Yritän selittää itseni paremmin sitten: 5xx-virhe voi johtua huonosta ohjelmoinnista: Jos odotan, että sivulleni lähetetään vain kiinteä muuttujajoukko, en ehkä (tyhmästi) vaivaudu käsittelemään tilannetta, jossa sivu saa väärät arvot (eli sellaiset, joita ei ole minun pudota alas). Jos tiedän, että joku satunnainen sivusto yrittää linkittää sivulle ilman oikeita arvoja, voin sitten soittaa kuinka / mitä korjata - ja tämä korjaus voi olla palauttaa 404 tai 403 tai voisin päättää, että minulla on korkeamman prioriteetin korjattavat asiat, ja tämä hankala linkki voidaan jättää toistaiseksi huomiotta.
  • Virheelliset parametrit tuottavat PHP-virheitä (jos käytät PHP: tä), jotka eivät ole palvelinvirheitä. Yleensä sivu palauttaa silti 200 (OK) näissä tapauksissa AFAIK. Ehkä tietyt kehykset kuten .net output 500 -virheet, mutta niiden ei pitäisi oikeastaan.
  • Jep, se oli enemmän .NET Ajattelin missä koodin poikkeus johtaa sisäiseen palvelinvirheeseen. En olisi onnellinen, jos se johtaisi "200 onnistumiseen", vaikka: "Numerolla" 5 alkavat vastaustilakoodit osoittavat tapauksia, joissa palvelin on tietoinen virheestä tai muutoin kykenemättömästä suorittamaan pyyntöä . [Palvelimen tulee sisältää [...] selitys virhetilanteesta [...]. [U] ser-agenttien tulisi näyttää kaikki mukana olevat entiteetit käyttäjälle. Näitä vastauskoodeja voidaan käyttää kaikkiin pyyntötapoihin. " bit.ly/t9zYJb

työskennellyt sinulle: Charles Robertson | Haluatko yhteyttä?