今天去抓取一个网站的数据,在点详细页面的时候发现,它是检查来源页的,你直接复制连接在浏览器上是无法访问.这么恶心的又低级的做法让我无比的鄙视.幸好现在有网络,幸好现在有google这个东西,这里就把找到的解决方法记录一下;

 

以下是伪造方法：

ASP:

dim http
set http=server.createobject("MSXML2.XMLHTTP") '//MSXML2.serverXMLHTTP也可以
Http.open "GET",url,false
Http.setRequestHeader "Referer","http://www.05809.cn/"
Http.send()

PHP(前提是装了curl):

$ch = curl_init();
curl_setopt ($ch, CURLOPT_URL, "http://www.05809.cn/xxx.asp");
curl_setopt ($ch, CURLOPT_REFERER, "http://www.05809.cn/");
curl_exec ($ch);
curl_close ($ch);

PHP(不装curl用sock)

$server = 'www.dc9.cn';
$host = 'www.dc9.cn';
$target = '/xxx.asp';
$referer = 'http://www.dc9.cn/'; // Referer
$port = 80;
$fp = fsockopen($server, $port, $errno, $errstr, 30);
if (!$fp)
{
echo "$errstr ($errno)<br />\n";
}
else
{
$out = "GET $target HTTP/1.1\r\n";
$out .= "Host: $host\r\n";
$out .= "Cookie: ASPSESSIONIDSQTBQSDA=DFCAPKLBBFICDAFMHNKIGKEG\r\n";
$out .= "Referer: $referer\r\n";
$out .= "Connection: Close\r\n\r\n";
fwrite($fp, $out);
while (!feof($fp))
{
echo fgets($fp, 128);
}
fclose($fp);
}

VB.NET/C#.NET

Dim oXMLHttp As MSXML2.XMLHTTP30 = New MSXML2.XMLHTTP30()
或者
MSXML2.XMLHTTP30 oXMLHttp = new MSXML2.XMLHTTP30();
oXMLHttp.open(....
oXMLHttp.setRequestHeader(...
oXMLHttp.send(..

javascript

xmlHttp.setRequestHeader("Referer", "http://URL");//???呵呵~假的~
JS不支持^_^

原理都是sock构造http头来senddata。其他语言什么的比如perl也可以,

目前比较简单的防御伪造referer的方法是用验证码（Session）。

现在有一些能防盗链软件的商业公司比如UUDOG，linkgate，VirtualWall什么的，都是开发的应用于IIS上面的dll。
有的是采用cookies验证、线程控制，有的是能随机生成文件名然后做URL重写。有的方法能的确达到不错的效果.

不过道高一尺，魔高一丈，这些雕虫小技终归是有破解方法的。