名解析 --> 发起 TCP 的 3 次握手 --> 建立 TCP 连接后发起 HTTP 请求 -->服务器响应 HTTP 请求，浏览器得到 html 代码 -->浏览器解析 html 代码，并请求 html 代码中的资源（如 js、css、图片等） --> 浏览器对页面进行渲染呈现给用户。

请求原理

HTTP 协议是应用层的一种协议，是一种 C/S 架构服务，基于 TCP/IP 协议来通信，监听在TCP 的 80 端口上，HTTP 协议实现的是客户端可以向服务端获得 web 资源。

文深入探讨如何运用PHP高效获取网页HTML元素信息。

运用文件读取函数，获取网页数据。

利用PHP脚本的强大功能，网页数据的采集中极为便捷，各类网页元素亦可转化为字符形式线上展现。

2.使用正则表达式匹配目标元素

面对诸多网页需求，巧妙运用正则表达式可以精准且迅速搜寻并提取所需的HTML元素。核心技术在于结合正则表达式与网页数据，以实现精确筛选及获取这些元素的目的。

3.使用DOMDocument类解析网页

借助 DOMDocument 类，PHP 为我们提供了深入分析和处理网页的途径。该类功能强大且易用，尤其以其精准读取 HTML 文档树及其灵活操作的表现，在准确获取所需元素方面具有显著优势。

4.使用Simple HTML DOM库

对于正则表达式和DOMDocument类的初学者而言，可能会遭遇困难。为提升工作效率，可尝试借助于诸如Simple HTML DOM这类第三方工具。该工具能准确挖掘所需HTML元素，大幅缩减项目开发时间。

5.使用XPath查询语言

凭借其卓越性能，XPath在应对XML及HTML文档元素抽取任务中表现非凡，为我们提供了对HTML元素的精准与灵动操纵。

6.使用cURL库发送HTTP请求

借助PHP中cURL库的功能优势，我们能够精确满足各种网络页面内容获取和模拟仿真的需求，从而突出页面关键信息的精度提取。

7.处理JavaScript生成的内容

针对个性化需求，运用JavaScript也可实现网站内容的动态生产。为高效达成此目的，我们能依赖于PHP所提供的两种无头浏览器工具包——Selenium以及PhantomJS。

8.处理AJAX请求返回的数据

为了实现在网页间的数据交互和沟通，尤其是借助AJAX技术模拟网络传输和数据获取过程的各项操作，我们会充分利用PHP中独有的CURL模块和众多第三方厂商开发的高效能库，它们将会成为你处理海量信息的强大后盾。

9.使用API接口获取数据

若目标网站具备API访问许可，那么仅需根据接口文档所指定的请求参数，便可自动获取并拆分JSON或者XML格式的回馈数据，进而达到信息交换的目标。

10.注意事项和其他方法

在获取网页中的HTML元素时，需要注意以下几点：

-确保目标网页存在且可访问；

-遵守目标网站的使用规则和法律法规；

-防止对目标网站造成过大的访问压力；

-根据具体需求选择合适的方法和工具。

运用此策略，能精准提取所需HTML组件，为构建多样化应用及特性提供强大后盾。盼望本文能对您在PHP开发过程中网页元素搜寻有所裨益。

今日内容：

1. Servlet

2. HTTP协议

3. Request

一、Servlet补充内容：

1.1 Servlet的体系结构：

Servlet -- 接口

|

GenericServlet -- 抽象类

|

HttpServlet -- 抽象类

1.2 GenericServlet：将Servlet接口中其他的方法做了默认空实现，只将service()方法作为抽象，将来定义Servlet类时，可以继承GenericServlet，实现service()方法即可

1.3 HttpServlet：对http协议的一种封装，简化操作

1. 定义类继承HttpServlet

2. 复写doGet/doPost方法

1.2 Servlet相关配置

1.2.1 urlpartten:Servlet访问路径

1. 一个Servlet可以定义多个访问路径 ： @WebServlet({"/d4","/dd4","/ddd4"})

2. 路径定义规则：

1. /xxx：路径匹配

2. /xxx/xxx:多层路径，目录结构

3. *.do：扩展名匹配

二、HTTP：

2.1 概念：Hyper Text Transfer Protocol 超文本传输协议

* 传输协议：定义了，客户端和服务器端通信时，发送数据的格式

* 特点：

1. 基于TCP/IP的高级协议

2. 默认端口号:80

3. 基于请求/响应模型的:一次请求对应一次响应

4. 无状态的：每次请求之间相互独立，不能交互数据

* 历史版本：

* 1.0：每一次请求响应都会建立新的连接

* 1.1：复用连接

2.2 请求消息数据格式

2.2.1 请求行：

请求方式 请求url 请求协议/版本

GET /login.html HTTP/1.1

2.2.2 请求方式：

* HTTP协议有7中请求方式，常用的有2种

* GET：

1. 请求参数在请求行中，在url后。

2. 请求的url长度有限制的

3. 不太安全

* POST：

1. 请求参数在请求体中

2. 请求的url长度没有限制的

3. 相对安全

2.2.3 请求头：客户端浏览器告诉服务器一些信息

请求头名称: 请求头值

* 常见的请求头：

1. User-Agent：浏览器告诉服务器，我访问你使用的浏览器版本信息

* 可以在服务器端获取该头的信息，解决浏览器的兼容性问题

2. Referer：http://localhost/login.html

* 告诉服务器，我(当前请求)从哪里来？

* 作用：

1. 防盗链：

2. 统计工作：

2.2.4 请求空行

空行，就是用于分割POST请求的请求头，和请求体的。

2.2.5 请求体(正文)：

* 封装POST请求消息的请求参数的

2.2.6 请求消息举例：

POST /login.html HTTP/1.1

Host: localhost

User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2

Accept-Encoding: gzip, deflate

Referer: http://localhost/login.html

Connection: keep-alive

Upgrade-Insecure-Requests: 1

username=zhangsan

三、Request：

3.1 request对象和response对象的原理

1. request和response对象是由服务器创建的。我们来使用它们

2. request对象是来获取请求消息，response对象是来设置响应消息

3.2 request对象继承体系结构：

ServletRequest -- 接口

| 继承

HttpServletRequest -- 接口

| 实现

org.apache.catalina.connector.RequestFacade 类(tomcat)

3.3 request功能：

3.3.1 获取请求消息数据

1. 获取请求行数据

* GET /day14/demo1?name=zhangsan HTTP/1.1

* 方法：

1. 获取请求方式 ：GET

* String getMethod()

2. (*)获取虚拟目录：/day14

* String getContextPath()

3. 获取Servlet路径: /demo1

* String getServletPath()

4. 获取get方式请求参数：name=zhangsan

* String getQueryString()

5. (*)获取请求URI：/day14/demo1

* String getRequestURI(): /day14/demo1

* StringBuffer getRequestURL() :http://localhost/day14/demo1

* URL:统一资源定位符 ： http://localhost/day14/demo1

* URI：统一资源标识符 : /day14/demo1

6. 获取协议及版本：HTTP/1.1

* String getProtocol()

7. 获取客户机的IP地址：

* String getRemoteAddr()

2. 获取请求头数据

* 方法：

* (*)String getHeader(String name):通过请求头的名称获取请求头的值

* Enumeration<String> getHeaderNames():获取所有的请求头名称

3. 获取请求体数据:

* 请求体：只有POST请求方式，才有请求体，

在请求体中封装了POST请求的请求参数

* 步骤：

1. 获取流对象

* BufferedReader getReader()：获取字符输入流，只能操作字符数据

* ServletInputStream getInputStream()：获取字节输入流，可以操作所有类型数据

2. 再从流对象中拿数据

3.3.2 其他功能：获取请求参数通用方式：不论get还是post请求方式都可以使用下列方法来获取请求参数：

1. String getParameter(String name):根据参数名称获取值 username=zs

2. String[] getParameterValues(String name):根据参数名称获取参数值的数组 hobby=xx&hobby=game

3. Enumeration<String> getParameterNames():获取所有请求的参数名称

4. Map<String,String[]> getParameterMap():获取所有参数的map集合

* 中文乱码问题：

* get方式：tomcat 8 已经将get方式乱码问题解决了

* post方式：会乱码

* 解决：在获取参数前，设置request的编码为

request.setCharacterEncoding("utf-8");

3.3.3 请求转发：一种在服务器内部的资源跳转方式

1. 步骤：

1. 通过request对象获取请求转发器对象：

RequestDispatcher getRequestDispatcher(String path)

2. 使用RequestDispatcher对象来进行转发：

forward(ServletRequest request, ServletResponse response)

2. 特点：

1. 浏览器地址栏路径不发生变化

2. 只能转发到当前服务器内部资源中。

3. 转发是一次请求

3.3.4. 共享数据：

* 域对象：一个有作用范围的对象，可以在范围内共享数据

* request域：代表一次请求的范围，一般用于请求转发的多个资源中共享数据

* 方法：

1. void setAttribute(String name,Object obj):存储数据

2. Object getAttitude(String name):通过键获取值

3. void removeAttribute(String name):通过键移除键值对

3.3.5. 获取ServletContext：

* ServletContext getServletContext()

四、案例：用户登录

* 用户登录案例需求：

1.编写login.html登录页面

username & password 两个输入框

2.使用Druid数据库连接池技术,操作mysql，day14数据库中user表

3.使用JdbcTemplate技术封装JDBC

4.登录成功跳转到SuccessServlet展示：登录成功！用户名,欢迎您

5.登录失败跳转到FailServlet展示：登录失败，用户名或密码错误

* 分析

* 开发步骤

1. 创建项目，导入html页面，配置文件，jar包

2. 创建数据库环境

CREATE DATABASE day14;

USE day14;

CREATE TABLE USER(

id INT PRIMARY KEY AUTO_INCREMENT,

username VARCHAR(32) UNIQUE NOT NULL,

PASSWORD VARCHAR(32) NOT NULL

);

3. 创建包cn.itcast.domain,创建类User

package cn.itcast.domain;

/**

* 用户的实体类

*/

public class User {

private int id;

private String username;

private String password;

public int getId() {

return id;

}

public void setId(int id) {

this.id=id;

}

public String getUsername() {

return username;

}

public void setUsername(String username) {

this.username=username;

}

public String getPassword() {

return password;

}

public void setPassword(String password) {

this.password=password;

}

@Override

public String toString() {

return "User{" +

"id=" + id +

", username='" + username + '\'' +

", password='" + password + '\'' +

'}';

}

}

4. 创建包cn.itcast.util,编写工具类JDBCUtils

package cn.itcast.util;

import com.alibaba.druid.pool.DruidDataSourceFactory;

import javax.sql.DataSource;

import javax.xml.crypto.Data;

import java.io.IOException;

import java.io.InputStream;

import java.sql.Connection;

import java.sql.SQLException;

import java.util.Properties;

/**

* JDBC工具类 使用Durid连接池

*/

public class JDBCUtils {

private static DataSource ds ;

static {

try {

//1.加载配置文件

Properties pro=new Properties();

//使用ClassLoader加载配置文件，获取字节输入流

InputStream is=JDBCUtils.class.getClassLoader().getResourceAsStream("druid.properties");

pro.load(is);

//2.初始化连接池对象

ds=DruidDataSourceFactory.createDataSource(pro);

} catch (IOException e) {

e.printStackTrace();

} catch (Exception e) {

e.printStackTrace();

}

}

/**

* 获取连接池对象

*/

public static DataSource getDataSource(){

return ds;

}

/**

* 获取连接Connection对象

*/

public static Connection getConnection() throws SQLException {

return ds.getConnection();

}

}

5. 创建包cn.itcast.dao,创建类UserDao,提供login方法

package cn.itcast.dao;

import cn.itcast.domain.User;

import cn.itcast.util.JDBCUtils;

import org.springframework.dao.DataAccessException;

import org.springframework.jdbc.core.BeanPropertyRowMapper;

import org.springframework.jdbc.core.JdbcTemplate;

/**

* 操作数据库中User表的类

*/

public class UserDao {

//声明JDBCTemplate对象共用

private JdbcTemplate template=new JdbcTemplate(JDBCUtils.getDataSource());

/**

* 登录方法

* @param loginUser 只有用户名和密码

* @return user包含用户全部数据,没有查询到，返回null

*/

public User login(User loginUser){

try {

//1.编写sql

String sql="select * from user where username=? and password=?";

//2.调用query方法

User user=template.queryForObject(sql,

new BeanPropertyRowMapper<User>(User.class),

loginUser.getUsername(), loginUser.getPassword());

return user;

} catch (DataAccessException e) {

e.printStackTrace();//记录日志

return null;

}

}

}

6. 编写cn.itcast.web.servlet.LoginServlet类

package cn.itcast.web.servlet;

import cn.itcast.dao.UserDao;

import cn.itcast.domain.User;

import javax.servlet.ServletException;

import javax.servlet.annotation.WebServlet;

import javax.servlet.http.HttpServlet;

import javax.servlet.http.HttpServletRequest;

import javax.servlet.http.HttpServletResponse;

import java.io.IOException;

@WebServlet("/loginServlet")

public class LoginServlet extends HttpServlet {

@Override

protected void doGet(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {

//1.设置编码

req.setCharacterEncoding("utf-8");

//2.获取请求参数

String username=req.getParameter("username");

String password=req.getParameter("password");

//3.封装user对象

User loginUser=new User();

loginUser.setUsername(username);

loginUser.setPassword(password);

//4.调用UserDao的login方法

UserDao dao=new UserDao();

User user=dao.login(loginUser);

//5.判断user

if(user==null){

//登录失败

req.getRequestDispatcher("/failServlet").forward(req,resp);

}else{

//登录成功

//存储数据

req.setAttribute("user",user);

//转发

req.getRequestDispatcher("/successServlet").forward(req,resp);

}

}

@Override

protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {

this.doGet(req,resp);

}

}

7. 编写FailServlet和SuccessServlet类

@WebServlet("/successServlet")

public class SuccessServlet extends HttpServlet {

protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {

//获取request域中共享的user对象

User user=(User) request.getAttribute("user");

if(user !=null){

//给页面写一句话

//设置编码

response.setContentType("text/html;charset=utf-8");

//输出

response.getWriter().write("登录成功！"+user.getUsername()+",欢迎您");

}

}

@WebServlet("/failServlet")

public class FailServlet extends HttpServlet {

protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {

//给页面写一句话

//设置编码

response.setContentType("text/html;charset=utf-8");

//输出

response.getWriter().write("登录失败，用户名或密码错误");

}

protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {

this.doPost(request,response);

}

}

8. login.html中form表单的action路径的写法

* 虚拟目录+Servlet的资源路径

9. BeanUtils工具类，简化数据封装

* 用于封装JavaBean的

1. JavaBean：标准的Java类

1. 要求：

1. 类必须被public修饰

2. 必须提供空参的构造器

3. 成员变量必须使用private修饰

4. 提供公共setter和getter方法

2. 功能：封装数据

2. 概念：

成员变量：

属性：setter和getter方法截取后的产物

例如：getUsername() --> Username--> username

3. 方法：

1. setProperty()

2. getProperty()

3. populate(Object obj , Map map):将map集合的键值对信息，封装到对应的JavaBean对象中