java爬取并下载酷狗TOP500歌曲

小编为您收集和整理了java爬取并下载酷狗TOP500歌曲的相关文章：是这样的，之前买车送的垃圾记录仪不能用了，这两天狠心买了好点的记录仪，带导航、音乐、蓝牙、4G等功能，寻思，既然有这些功能就利用起来，用4G听歌有点奢侈，就准备去酷狗下点歌听，居然都是需要办会员才能下...

是这样的，之前买车送的垃圾记录仪不能用了，这两天狠心买了好点的记录仪，带导航、音乐、蓝牙、4G等功能，寻思，既然有这些功能就利用起来，用4G听歌有点奢侈，就准备去酷狗下点歌听，居然都是需要办会员才能下载，而且vip一月只能下载300首，我这么穷又这么抠怎么可能冲会员，于是百度搜了下怎么免费下载，都是python爬取，虽然也会一点，但是电脑上没安装python，再安装再研究感觉有点费劲，于是就花了半小时做了这个爬虫，技术一般，只记录分析实现过程，大牛请绕行。其中用到了一些库，包括：jsoup、HttpClient、net.sf.json大家可以自行去下载jar包1、分析是否能获得TOP500歌单

首先，打开酷狗首页查看酷狗TOP500，说好的500首，怎么就只有22首呢，

是真的只让看这些还是能找到其余的呢，于是我就看了下这TOP500的链接

?from=rank

可以看的出home后边有个1，难道这是代表第一页的意思？于是我就把1改成2，进入，果然进入了第二页， 至此可以知道我们可以在网页里获取这500首的歌单。

2.分析找到真正的mp3下载地址（这个有点绕）

点一个歌曲进入播放页面，使用谷歌浏览器的控制台的Elements，搜一下mp3，很轻松就定位到了MP3的位置，

但是使用java访问的时候爬取的html里却没有该mp3的文件地址，那么这肯定是在该页面的位置使用了js来加载mp3，那么刷新下网页，看网页加载了哪些东西，加载的东西有点多，着重看一下js、php的请求，主要是看里面有没有mp3的地址，分析细节就不用说了，

最终我在列表的

里有这段js，到现在mp3的地址也找到了，歌单也找到了，那么下一步就用程序实现就可以了。

3.java实现爬取酷狗mp3

先看一下爬取结果

找到了资源，程序实现就好说了，其中使用到了自己写的几个工具类，自己整理点自己的工具类还是有好处的，以后遇到什么问题就没必要重新写了，直接拿来用就可以了。没什么好说的了，下面直接贴出源码

SpiderKugou.java

package com.bing.spider; import java.io.IOException; import java.util.regex.Matcher; import java.util.regex.Pattern; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import com.bing.download.FileDownload; import com.bing.html.HtmlManage; import com.bing.?from=rank"; //"?from=rank"; public static void main(String[] args) throws IOException { for(int i = 1 ; i < 23 ; i++){ String url = LINK.replace("PAGE", i + ""); getTitle(url); //download(""); } } public static String getTitle(String url) throws IOException{ HttpGetConnect connect = new HttpGetConnect(); String content = connect.connect(url, "utf-8"); HtmlManage html = new HtmlManage(); Document doc = html.manage(content); Element ele = doc.getElementsByClass("pc_temp_songlist").get(0); Elements eles = ele.getElementsByTag("li"); for(int i = 0 ; i < eles.size() ; i++){ Element item = eles.get(i); String title = item.attr("title").trim(); String link = item.getElementsByTag("a").first().attr("href"); download(link,title); } return null; } public static String download(String url,String name) throws IOException{ String hash = ""; HttpGetConnect connect = new HttpGetConnect(); String content = connect.connect(url, "utf-8"); HtmlManage html = new HtmlManage(); String regEx = "\"hash\":\"[0-9A-Z]+\""; // 编译正则表达式 Pattern pattern = Pattern.compile(regEx); Matcher matcher = pattern.matcher(content); if (matcher.find()) { hash = matcher.group(); hash = hash.replace("\"hash\":\"", ""); hash = hash.replace("\"", ""); } String item = mp3.replace("HASH", hash); item = item.replace("TIME", System.currentTimeMillis() + ""); System.out.println(item); String mp = connect.connect(item, "utf-8"); mp = mp.substring(mp.indexOf("(") + 1, mp.length() - 3); JSONObject json = JSONObject.fromObject(mp); String playUrl = json.getJSONObject("data").getString("play_url"); System.out.print(playUrl + " == "); FileDownload down = new FileDownload(); down.download(playUrl, filePath + name + ".mp3"); System.out.println(name + "下载完成"); return playUrl; } }

HttpGetConnect.java

package com.bing.内容 * @param url * @param charsetName UTF-8、GB2312 * @return * @throws IOException */ public static String connect(String url,String charsetName) throws IOException{ BasicHttpClientConnectionManager connManager = new BasicHttpClientConnectionManager(); CloseableHttpClient ,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"); ; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import com.bing.){ Document doc = Jsoup.parse(html); return doc; } public Document manageDirect(String url) throws IOException{ Document doc = Jsoup.connect( url ).get(); return doc; } public List manageHtmlTag(Document doc,String tag ){ List list = new ArrayList(); Elements elements = doc.getElementsByTag(tag); for(int i = 0; i < elements.size() ; i++){ String str = elements.get(i).html(); list.add(str); } return list; } public List manageHtmlClass(Document doc,String clas ){ List list = new ArrayList(); Elements elements = doc.getElementsByClass(clas); for(int i = 0; i < elements.size() ; i++){ String str = elements.get(i).html(); list.add(str); } return list; } public List manageHtmlKey(Document doc,String key,String value ){ List list = new ArrayList(); Elements elements = doc.getElementsByAttributeValue(key, value); for(int i = 0; i < elements.size() ; i++){ String str = elements.get(i).html(); list.add(str); } return list; } private static Log log = LogFactory.getLog(HtmlManage.class); }

FileDownload.java

package com.bing.download; import java.io.BufferedInputStream; import java.io.BufferedOutputStream; import java.io.File; import java.io.FileOutputStream; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.http.client.config.RequestConfig; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClients; /** * @说明： * @author: gaoll * @CreateTime:2014-11-20 * @ModifyTime:2014-11-20 */ public class FileDownload { /** * 文件下载 * @param url 链接地址 * @param path 要保存的路径及文件名 * @return */ public static boolean download(String url,String path){ boolean flag = false; CloseableHttpClient httpclient = HttpClients.createDefault(); RequestConfig requestConfig = RequestConfig.custom().setSocketTimeout(2000) .setConnectTimeout(2000).build(); HttpGet get = new HttpGet(url); get.setConfig(requestConfig); BufferedInputStream in = null; BufferedOutputStream out = null; try{ for(int i=0;i<3;i++){ CloseableHttpResponse result = httpclient.execute(get); System.out.println(result.getStatusLine()); if(result.getStatusLine().getStatusCode() == 200){ in = new BufferedInputStream(result.getEntity().getContent()); File file = new File(path); out = new BufferedOutputStream(new FileOutputStream(file)); byte[] buffer = new byte[1024]; int len = -1; while((len = in.read(buffer,0,1024)) > -1){ out.write(buffer,0,len); } flag = true; break; }else if(result.getStatusLine().getStatusCode() == 500){ continue ; } } }catch(Exception e){ e.printStackTrace(); flag = false; }finally{ get.releaseConnection(); try{ if(in != null){ in.close(); } if(out != null){ out.close(); } }catch(Exception e){ e.printStackTrace(); flag = false; } } return flag; } private static Log log = LogFactory.getLog(FileDownload.class); }

到这就结束了，有可能有些代码没贴全，主要代码已经差不多，应该可以跑起来，多多指教。

作者：后山人。如有侵权，请联系删除.

以上就是小编为您收集和整理的java爬取并下载酷狗TOP500歌曲相关内容，如果对您有帮助，请帮忙分享这篇文章^_^

本文来源： https://www.kuyinyue.com/a/64a394cea1d9314f0708a8d5.html