Vista combinada Visión Plana Vista de árbol
Discusiones [ Anterior | Siguiente ]
toggle
Yan Naing Oo
robots.txt for uncrawl contents
18 de marzo de 2012 18:37
Respuesta

Yan Naing Oo

Ranking: Regular Member

Mensajes: 180

Fecha de incorporación: 17 de febrero de 2011

Mensajes recientes

Hi all,

I wanted to uncrawl the specific content in portal that I apply in below syntax for robots.txt .
example : https://www.liferay.com/de/community/forums/-/message_boards/message/6735403

I want to uncrawl all the link behind the community/

User-agent: *
Disallow: /community/

is thats correct syntax apply above ?


thanks
Mika Koivisto
RE: robots.txt for uncrawl contents
19 de marzo de 2012 13:59
Respuesta

Mika Koivisto

LIFERAY STAFF

Ranking: Liferay Legend

Mensajes: 1513

Fecha de incorporación: 7 de agosto de 2006

Mensajes recientes

That would disallow /community but not /de/community.
Yan Naing Oo
RE: robots.txt for uncrawl contents
19 de marzo de 2012 17:55
Respuesta

Yan Naing Oo

Ranking: Regular Member

Mensajes: 180

Fecha de incorporación: 17 de febrero de 2011

Mensajes recientes

Mika Koivisto:
That would disallow /community but not /de/community.


thanks mika.