User-agent: *
disallow:/
allow:/junci/
allow:/junciwenhua/
allow:/bbs/

注：刚才发的有问题，重新修改了一下，使用allow之前，需要先使用disallow！

如果某个搜索引擎不支持allow，那你就完蛋了！阿门

老白多说几句

robots.txt协议当中的 allow并不是所有搜索引擎都支持的

yahoo是支持的！

google是支持的，但是也没有见google官方有申明，只是在http://www.google.com/robots.txt当中见到在使用而已！

baidu未知

比较稳妥的robots.txt写法是

用disallow把所有不希望被搜索引擎收录的文件，目录写进去

如

User-agent: *
disallow:/donotcrawl/
disallow:/admin.php

在附一篇关于搜索引擎对robots.txt支持情况的文章
出自车东's blog

 http://www.chedong.com/blog/archives/001195.html

 小白就是专业啊！鼓掌

有空给弟兄们发发文,普及普及经验吧