主页 > 知识库 > 使用curl递归下载软件脚本分享

使用curl递归下载软件脚本分享

热门标签:Linux服务器 网站排名优化 呼叫中心市场需求 铁路电话系统 地方门户网站 AI电销 百度竞价排名 服务外包

复制代码 代码如下:

#!/bin/env bash
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin
export PATH
clear
Url="http://mirrors.cnnic.cn/apache/"
DownListFile="/tmp/downlist.txt"
DownListTmpFile="/tmp/tmplist.txt"
DownFileType="zip$|gz$"
DownList=""
UrlBack="$Url"
[ ! -f $DownListFile ] touch $DownListFile || echo > $DownListFile
[ ! -f $DownListTmpFile ] touch $DownListTmpFile || echo > $DownListTmpFile
CURL_URLS(){
 Urls=`curl $UrlBack |awk -F "a href=\"" '{printf "%s\n",$2}'|awk -F "\"" '{printf "%s\n",$1}'|grep -vE "^$|^\?|^http:\/\/"|^#`
}
URL_LIST(){
 CURL_URLS
 for i in $Urls ;do
  echo "$UrlBack$i" >> $DownListTmpFile
 done
}
RECURSIVE_SEARCH_URL(){
 UrlBackTmps=`cat $DownListTmpFile`
 [[ "$UrlBackTmps" == "" ]] echo "no more page for search" exit 1
 for j in $UrlBackTmps ;do
  if [[ "${j##*\/}" != "" ]] ;then
   echo "$j" >> $DownListFile
  else
   UrlBack="$j"
   URL_LIST
  fi
  UrlTmps=`grep -vE "$j$" $DownListTmpFile`
  echo "$UrlTmps" > $DownListTmpFile
  RECURSIVE_SEARCH_URL
 done
}
DOWNLOAD_FILE(){
 DownList=`grep -E "$DownFileType" $DownListFile`
 for k in $DownList ;do
  FilePath=/tmp/${k#*\/\/}
  [ ! -d `dirname $FilePath` ] mkdir -p `dirname $FilePath`
  [ ! -f $FilePath ] cd `dirname $FilePath` curl -O $k
 done
}
URL_LIST $Urls
RECURSIVE_SEARCH_URL

标签:衡水 黄山 湖南 仙桃 崇左 兰州 湘潭 铜川

巨人网络通讯声明:本文标题《使用curl递归下载软件脚本分享》,本文关键词  ;如发现本文内容存在版权问题,烦请提供相关信息告之我们,我们将及时沟通与处理。本站内容系统采集于网络,涉及言论、版权与本站无关。
  • 相关文章
  • 收缩
    • 微信客服
    • 微信二维码
    • 电话咨询

    • 400-1100-266