✔️✔️ Hei kaveri, voitko antaa minulle käden? ENNEN ja JÄLKEEN ⚠️

Haluaisin sallia kansion /news/ ja estä kaikki alikansiot /news/ esim. /news/abc/, /news/123/. Kuinka voin tehdä sen kiitos?

mielestäni Disallow: /news/ estää kaiken siinä, mukaan lukien /news/ itse.

Tahtoa Disallow: /news/*/ tee työ, koska sitä ei ole helppo testata, haluan varmistaa.

User-agent: * Allow: /news/$ Disallow: /news/ 

Selitys:

Googlen robots.txt Spec (https://developers.google.com/search/reference/robots_txt), joka on ajan tasalla kuin "virallinen", sanoo, että:

/fish/ sopii mihin tahansa /fish/ kansion, mutta ei täsmää /fish (eikä yleismerkkejä tarvita, koska "Viimeinen kauttaviiva tarkoittaa, että tämä vastaa mitä tahansa tässä kansiossa.") Jos suunnittelet peruutusinsinööriä, että:

User-agent: * (tai mikä tahansa käyttäjäagentti, jonka kanssa haluat puhua)
Allow: /news/$ (sallii /news/ mutta $ hahmo sanoo, että salli ei voi mennä pidemmälle /news/)
Disallow: /news/ (ei salli mitään /news/ kansio)

Testaa se Google Search Consolessa tai Yandexissä (https://webmaster.yandex.com/tools/robotstxt/) varmistaaksesi, että se toimii sivustollesi.

Minulla oli tavallaan sama asia. Tämä:

User-agent: * Allow: /folder/$ Disallow: /folder/ 

Ei toiminut minulle - URL-osoite / kansio PITÄÄ näkyä Googlen hakutuloksissa - mutta se sanoisi vain EI INFOA tai jotain - mitään HTML-sivulta ei indeksoida. Joten yritin:

User-agent: * Allow: /folder/index.html Disallow: /folder/* 

Sama asia.

Mikä DID-tehtävä oli laittaa tämä sisällönkuvauskenttä index.html-tiedostoon hakemistoon / folder /:

<meta NAME='ROBOTS' CONTENT='INDEX, NOFOLLOW'> 

Tällä tagilla - linkkejä ei seurattu muille sivuille tai kansioihin, mutta index.html DID: n sisältö näkyy.

  • Robots.txt ei estä indeksointia, vain indeksointia. Vaikuttaa siltä, ​​että se toimi, se ei vain tehnyt sitä, mitä odotit.

työskennellyt sinulle: Charles Robertson | Haluatko yhteyttä?