络爬虫基本思路

基本思路：由关键字指定的url把所有相关的html页面全抓下来（html即为字符串），然后解析html文本（通常是正则表达式或者现成工具包如jsoup），提取文本信息，然后把文本信息存储起来。

网络爬虫操作步骤

URL(统一资源定位符）

下载资源

分析下载资源（正则表达式）

抽取、清洗、储存

该文章只会操作两步步骤URL和下载html资源。

网络编程小知识

URI:(Universal Resource Identifier)统一资源标记符，用来标记抽象或物理资源的一个紧凑字符串。

URL:(Universal Resource Locator)统一资源定位符，一种定位资源的主要访问机制的字符串，一个标准的URL必须包括：protocal（协议）、host（主机）、port（端口号）、path（路径）、parameter（参数）、anchor（锚）。

URN：(Universal Resource Name)统一资源名称，通过特定命名空间中的唯一名称或ID来标识资源。

URL和URN都是URI，但是URI不一定是URL或者URN。

SEO搜索引擎优化

SEO是搜索引擎优化（Search Engine Optimization）的英文缩写，中文译为“搜索引擎优化”。在了解搜索引擎自然排名机制的基础上，对网站进行内部及外部的调整优化，改进网站在搜索引擎中的关键词自然排名，获得更多流量，从而达成网站销售及品牌建设的预期目标。

网络爬虫技术是SEO搜索引擎优化的基础（对网络爬虫感兴趣的同学可以深入研究）

JAVA中的JDK已经对URL(资源定位符)封装完毕，使用者只要会用即可。

使用JAVA代码下载网站资源有如下两种情况：

该代码主要是通过URL类的openStream方法来获取网络资源，如果还想了解URL类的信息的同学可以去看看JDK中URL类的源代码。

二、网站不允许外来访问(模仿浏览器使用HTTP协议交流)代码如下

注意事项

JAVA中的控制台储存空间有限，所以有时候HTML源代码会显示不全，但你可以通过IO操作来拷贝到文件中去。

HttpURLConnection类的setRequestProperty方法中的（String key，String value）参数需要到浏览器相应网页中去拷贝。

拷贝如下：

1、进入浏览器相关网页。

2、按住F12进入devtools。

3、拷贝Request包中最后一行数据。

4、冒号前的对应key参数，冒号后的对应value参数。

点击关注私信小编“资源”即可获得

多用户遇到网页内容显示不全的故障，而且网络连接也正常，下面给大分享解决win7网页显示不全解决步骤。

　　1、点击窗口上方的工具，选择internet选项，如下图所示：

　　2、在常规选项卡下的浏览历史记录点击删除按钮，这样就可以删除临时文件和cookie文件了，如下图所示：

　　3、如果这个位置的空间过小的话，也会导致网页显示不全，可以试着将这个位置的空间调大一点，如下图所示：

　　4、打开临时文件的文件夹了，将其中不需要的文件全部删除掉，这样也会为临时文件释放一些空间，点击“确定”，如下图所示：