DQZEM使用反向代理,结合网站一起使用
需求背景:客户有域名为www.website.com的网站一个,想启用q.webstie.com的站点,作为公司论坛使用。
同时又希望:
1、启用反向代理,把q.webstie.com的帖子变成www.website.com域名下的内容,为www.website.com的域名提升关键词权重。
2、当客户访问该内容的时候,又能跳回到q.website.com下的对应内容,进入论坛进行各种操作。请问如何实现??
实现方式如下:
当前dqzem是支持反向代理,比如帖子详情内容为 https://q.website.com/thread/210的帖子,如何变成https://www.website.com/pub/detail/210,
第一步:在www.webstie.com域名下启用反向代理,Apache配置可参考:
#PROXY-START/pub/detail
<IfModule mod_proxy.c>
ProxyRequests off
SSLProxyEngine on
ProxyPass /dl.php https://q.website.com/dl.php
ProxyPassReverse /dl.php https://q.website.com/dl.php
ProxyPass /pub https://q.website.com/pub
ProxyPassReverse /pub https://q.website.com/pub
ProxyPass /api https://q.website.com/api/
ProxyPassReverse /api https://q.website.com/api/
ProxyPass /assets https://q.website.com//assets/
ProxyPassReverse /assets https://q.website.com/assets/
ProxyPass /dzq-img https://q.website.com//dzq-img/
ProxyPassReverse /dzq-img https://q.website.com/dzq-img/
</IfModule>
#PROXY-END/pub/detail
第二步:在域名q.website.com下设置爬虫抓取限制,避免重复内容。
在.htaccess 文件中加入如下内容:
# 如果User-Agent匹配已知爬虫列表
RewriteCond %{HTTP_USER_AGENT} (Baiduspider|Googlebot|Bingbot|360Spider|Sogou) [NC]
# 则拒绝请求(返回403 Forbidden)
RewriteRule ^thread/\d+$ - [R=403,NC,L]
第三步:使用百度蜘蛛爬虫进行测试。比如:
https://q.website.com/thread/210
https://www.website.com/pub/detail/210
第四步:完成。
