Foros de discusión

robots.txt for uncrawl contents

Yan Naing Oo, modificado hace 12 años.

robots.txt for uncrawl contents

Regular Member Mensajes: 179 Fecha de incorporación: 17/02/11 Mensajes recientes
Hi all,

I wanted to uncrawl the specific content in portal that I apply in below syntax for robots.txt .
example : https://www.liferay.com/de/community/forums/-/message_boards/message/6735403

I want to uncrawl all the link behind the community/

User-agent: *
Disallow: /community/

is thats correct syntax apply above ?


thanks
thumbnail
Mika Koivisto, modificado hace 12 años.

RE: robots.txt for uncrawl contents

Liferay Legend Mensajes: 1519 Fecha de incorporación: 7/08/06 Mensajes recientes
That would disallow /community but not /de/community.
Yan Naing Oo, modificado hace 12 años.

RE: robots.txt for uncrawl contents

Regular Member Mensajes: 179 Fecha de incorporación: 17/02/11 Mensajes recientes
Mika Koivisto:
That would disallow /community but not /de/community.


thanks mika.