有許多網(wǎng)絡(luò)文件下載工具可以在Windows平臺(tái)下很好地工作，如NetAnts、“網(wǎng)際快車”、TelePro等，還有像WebZip那樣功能強(qiáng)大的離線瀏覽器。這些工具使我們可以在Windows環(huán)境下很輕松地下載網(wǎng)站上的文件、目錄、網(wǎng)站的一部分，甚至整個(gè)網(wǎng)站。然而在Linux環(huán)境下，這類工具卻很少。筆者通過自己的摸索，在集成開發(fā)環(huán)境KDevelop　1.2下實(shí)現(xiàn)了一個(gè)網(wǎng)站下載程序，它支持文件級(jí)的“多線程下載”和“斷點(diǎn)續(xù)傳”。下面本文分3部分介紹實(shí)現(xiàn)這一程序的基本技術(shù)。
基本原理
1．超級(jí)鏈接尋徑算法
要想靈活地下載一個(gè)網(wǎng)站的全部或部分內(nèi)容，程序就必需具備從用戶指定的URL開始，沿著它所包含的超級(jí)鏈接遍歷整個(gè)網(wǎng)站的能力。在這個(gè)基礎(chǔ)上根據(jù)用戶的限制，篩選出所要下載的文件。
從“圖論”的角度分析，網(wǎng)站其實(shí)是一個(gè)由文件和超級(jí)鏈接組成的“連通有向圖”。文件是圖中的頂點(diǎn)，超級(jí)鏈接是有向邊。我們需要對(duì)這個(gè)有向圖進(jìn)行“廣度優(yōu)先遍歷”。為此，需要用一個(gè)隊(duì)列URLQueue來存放待訪問的目標(biāo)。初始情況下，隊(duì)列中只含有用戶指定的那個(gè)URL。程序從隊(duì)頭取得下載目標(biāo)的URL，如果它符合用戶的限制，就下載它指向的文件。分析此文件，找出其中包括的超級(jí)鏈接，生成新的下載目標(biāo)的URL，然后將它們插入到隊(duì)列尾部。重復(fù)以上過程，直到隊(duì)列中沒有符合用戶限制的URL為止。
由于網(wǎng)站是一個(gè)“連通有向圖”，所以沿著超級(jí)鏈接，很可能回到已經(jīng)訪問過的文件。為了避免程序出現(xiàn)死循環(huán)，要登記已經(jīng)訪問過的目標(biāo)。在分析下載文件的超級(jí)鏈接時(shí)，我們要將生成的新目標(biāo)的URL與已經(jīng)訪問過的進(jìn)行比較，剔除會(huì)造成重復(fù)訪問的URL。為了提高查詢速度，我們采用了“哈希表”來存放從隊(duì)頭取出的URL。“哈希函數(shù)”可以采用將URL中的字符作為整型值相加，然后模一個(gè)質(zhì)數(shù)的簡(jiǎn)單方法來實(shí)現(xiàn)。在本文介紹的程序中使用了質(zhì)數(shù)103。
2．多線程下載和斷點(diǎn)續(xù)傳
多線程下載和斷點(diǎn)續(xù)傳使用了同一個(gè)技術(shù)。HTTP協(xié)議允許客戶端在向服務(wù)器端發(fā)送下載一個(gè)文件的GET請(qǐng)求時(shí)，使用“Range:　bytes=a1－a2"選項(xiàng)，要求服務(wù)器只傳送指定文件中從第a1個(gè)字節(jié)到a2個(gè)字節(jié)之間的部分內(nèi)容。因此下載一個(gè)文件時(shí)，可以將其分成若干段，然后啟動(dòng)多個(gè)線程，同時(shí)與服務(wù)器建立鏈接，分別傳送一個(gè)文件的多個(gè)部分。最后在本地將其拼接成一個(gè)完整的文件。由于從網(wǎng)上下載文件時(shí)，瓶頸是在服務(wù)器端和網(wǎng)絡(luò)傳輸過程中，所以采用多線程同時(shí)下載將大大提高下載速度。
當(dāng)文件傳輸因出現(xiàn)問題而中斷時(shí)，程序可以將各個(gè)線程當(dāng)前下載的進(jìn)度和已經(jīng)下載的內(nèi)容當(dāng)做“斷點(diǎn)信息”保存到文件中。用戶下一次下載同一目標(biāo)時(shí)，程序可以根據(jù)文件中保留的斷點(diǎn)信息下載上次未完成的部分，然后將整個(gè)文件拼接起來，完成下載工作。這種技術(shù)對(duì)于在經(jīng)常“掉線”的情況下下載大文件非常有利。因此，在當(dāng)前流行的下載軟件中都采用了此項(xiàng)技術(shù)。
Linux如何啟動(dòng)線程
1.定義一個(gè)以void?。獮閰?shù)、返回void?。暮瘮?shù)。例如，為了啟動(dòng)下載線程，需要定義如下函數(shù)：
void?。tart(void?。rg)
{
((CWebCopy　＊)　arg)－>DownLoad();
return　arg;
}
2．在需要啟動(dòng)線程時(shí)，只要三條語句。例如，啟動(dòng)下載線程的代碼如下：
＃include
pthread_t　tid;
pthread_create(＆tid,NULL,start,arg);
部分程序的實(shí)現(xiàn)

以下是下載線程中三個(gè)關(guān)鍵性函數(shù)的算法描述（假定這三個(gè)函數(shù)都被封裝在CwebCopy類中）。
int　CWebCopy::DownLoad(char　＊　host,char?。猵ath,int　a1,int　a2，BYTE?。uf)
{
//本函數(shù)從host所指定的HTTP服務(wù)器上下載路徑為path的文件中從第a1字節(jié)到第a2字節(jié)的內(nèi)容，與host所指定的主機(jī)的80端口(HTTP端口)建立流式鏈接,共嘗試5次
bool　connected　=　false;
int　sock;　//用于存放套接字描述符
for(i　=　0;　i　<　5　;　i＋＋){
if((sock　=　Connect(host,80))　<　0)
sleep(1);
else{
connected　=　true;
break;
}
}
if(connected){
//向指定的HTTP服務(wù)器發(fā)送GET請(qǐng)求,下載當(dāng)前指定路徑下的文件的一部分
Send(sock,“GET　path％cHost:?。％cRange:　bytes=％d－％d％c”,path,10,host,10,a1,a2,10);
int　inflen,index　=　0;
while(1){
struct　timeval　tv;
tv.tv_sec　=　1;
tv.tv_usec　=　0;
//檢查套接字是否接收到了數(shù)據(jù),嘗試20次,每次間隔1秒
int　readen;
readen　=ReadEn(sock,tv,20);
//如果套接字中20秒內(nèi)仍然沒有數(shù)據(jù)，則認(rèn)為超時(shí)
if(readen　<　1)　return?。?;
//接收數(shù)據(jù),并存放在信息緩沖區(qū)中
inflen=read(sock,(buf＋index),a2－a1);　//　如果此文件所需部分已經(jīng)下載結(jié)束
if(inflen　<=　0)　break;
}
return　0;
}
else　return?。?;
}
int　CWebCopy　::Send(int　sock，char?。猣mt,...)
{
//本函數(shù)將指定的字符串發(fā)送到sock所指向的遠(yuǎn)程HTTP服務(wù)器
char　BUF[1024];
va_list　argptr;
//處理可變個(gè)數(shù)參數(shù)
va_start(argptr,fmt);
//將參數(shù)整理成字符串后放入BUF中
vsprintf(BUF,fmt,argptr);
va_end(argptr);
//將BUF中的字符串發(fā)送到sock所指向的遠(yuǎn)程服務(wù)器
return　send(sock　,BUF,strlen(BUF),0);
}
int　CWebCopy　::ReadEn(int　sock，struct　timeval　tv,int　tryloop)
{
//利用select函數(shù)檢驗(yàn)套接字sock,如果套接字接收到數(shù)據(jù)則返回“讀使能”,如果出現(xiàn)“內(nèi)部中斷”以外的錯(cuò)誤,則返回　“讀禁止”
fd_set　rfdset;
FD_ZERO(＆rfdset);
FD_SET(sock,＆rfdset);
int　readen　=　0;
for(int　i　=　0;　i　<　tryloop;　i＋＋){
readen　=　select(m_sock＋1,＆rfdset,NULL,NULL,＆tv);
if(readen>0||(readen<　0?。ΓΑrrno　!=EINTR))
break;
sleep(1);
}
return　readen;
}