linux中级_http详解 – Learning DevOps

第六章HTTP 下载

一、HTTP协议全面解析

1.1 HTTP是什么？

全称：HyperText Transfer Protocol（超文本传输协议）
本质：应用层协议，用于传输超文本内容
发展历程：
HTTP/0.9（1991年）：最简单的GET请求
HTTP/1.0（1996年）：正式标准，支持多种方法
HTTP/1.1（1997年）：持久连接、管道化
HTTP/2（2015年）：二进制协议、多路复用
HTTP/3（2020年）：基于QUIC，解决队头阻塞

1.2 核心概念详解

超文本（HyperText）：

不仅仅是纯文本，包含：
超链接（Hyperlinks）：指向其他资源的链接
多媒体元素：图片、音频、视频等
结构化标记：HTML、XML等
超文本构成了万维网的基础结构

URL（统一资源定位符）：

完整格式：scheme://host:port/path?query#fragment
各部分解析：
协议（scheme）：http、https、ftp等
主机（host）：域名或IP地址
端口（port）：http默认80，https默认443
路径（path）：资源的目录位置
查询字符串（query）：?key=value&key2=value2
片段（fragment）：#section1（页面内锚点）

HTML（超文本标记语言）：

超文本的主要表现形式
通过标签定义文档结构和内容
浏览器解析HTML并渲染为可视化页面

二、HTTP工作原理深度剖析

2.1 完整访问流程（12个步骤）

第一阶段：准备阶段

用户输入URL：http://www.oldboy.com/index.html
浏览器解析URL：

提取协议、主机、端口、路径
检查是否为合法URL

第二阶段：DNS解析

4. 浏览器缓存查询：

检查浏览器自身的DNS缓存
缓存有效期：TTL（Time To Live）

5. 操作系统缓存查询：

Windows：ipconfig /displaydns
Linux/Mac：nscd或dscacheutil

6. Hosts文件检查：

路径：Windows - C:\Windows\System32\drivers\etc\hosts
格式：IP地址域名

7. DNS服务器查询：

递归查询（客户端→本地DNS）
迭代查询（DNS服务器之间的查询）
查询过程：
本地DNS → 根域名服务器 → 顶级域名服务器 → 权威域名服务器
返回A记录（IPv4）、AAAA记录（IPv6）

第三阶段：建立连接

8. TCP三次握手：

   客户端 → SYN=1, seq=x → 服务器
   服务器 → SYN=1, ACK=1, seq=y, ack=x+1 → 客户端
   客户端 → ACK=1, seq=x+1, ack=y+1 → 服务器

目的：同步序列号，协商参数
超时重传：SYN重传机制

第四阶段：HTTP通信

9. 构建HTTP请求：

   GET /index.html HTTP/1.1
   Host: www.oldboy.com
   User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)
   Accept: text/html,application/xhtml+xml
   Accept-Language: zh-CN,zh;q=0.9
   Connection: keep-alive

10. 发送请求：

通过已建立的TCP连接发送
数据包大小受MTU限制（通常1500字节）
TCP滑动窗口控制流量

11. 服务器处理请求：

Web服务器（Apache、Nginx）接收请求
查找资源文件
执行服务器端脚本（PHP、Python等）
访问数据库（MySQL、Redis等）
构建响应数据

12. 服务器返回响应：

HTTP/1.1 200 OK Date: Mon, 23 May 2023 22:38:34 GMT Server: Apache/2.4.41 (Unix) Content-Type: text/html; charset=UTF-8 Content-Length: 1234 Connection: keep-alive <!DOCTYPE html> <html> <head><title>首页</title></head> <body>...</body> </html>

第五阶段：断开连接

13. TCP四次挥手：

客户端 → FIN=1, seq=u → 服务器

服务器 → ACK=1, seq=v, ack=u+1 → 客户端

服务器 → FIN=1, ACK=1, seq=w, ack=u+1 → 客户端

客户端 → ACK=1, seq=u+1, ack=w+1 → 服务器

TIME_WAIT状态：等待2MSL（最大报文生存时间）

2.2 HTTPS的特殊处理

SSL/TLS握手（在TCP握手之后）：

客户端发送ClientHello
服务器返回ServerHello、证书
客户端验证证书
生成会话密钥
开始加密通信

三、HTTP请求方法全面解析

3.1 主要请求方法对比

方法	幂等性	安全性	作用	请求体
GET	是	是	获取资源	无
POST	否	否	提交数据	有
PUT	是	否	更新资源	有
DELETE	是	否	删除资源	无
HEAD	是	是	获取响应头	无
OPTIONS	是	是	查询支持方法	无
PATCH	否	否	部分更新	有

3.2 方法详解

GET方法：

用于获取资源
参数通过URL传递
有长度限制（浏览器和服务器限制）
可被缓存、可被收藏为书签

POST方法：

用于提交数据
参数在请求体中
无长度限制
常用场景：
- 表单提交
- 文件上传
- API调用
内容类型：
- application/x-www-form-urlencoded
- multipart/form-data
- application/json

PUT vs POST：

PUT：已知资源位置，完全替换
POST：服务器决定资源位置，创建新资源

四、HTTP响应状态码详解

4.1 1xx 信息性状态码

100 Continue：客户端应继续发送请求
101 Switching Protocols：切换协议（如WebSocket）
102 Processing：服务器正在处理请求
103 Early Hints：预加载提示

4.2 2xx 成功状态码

200 OK：请求成功
201 Created：资源创建成功（常用于POST）
202 Accepted：请求已接受，但未完成处理
204 No Content：成功但无返回内容
206 Partial Content：部分内容（用于断点续传）

4.3 3xx 重定向状态码

301 Moved Permanently：永久重定向
302 Found：临时重定向
303 See Other：使用GET方法查看新URI
304 Not Modified：资源未修改（缓存相关）
307 Temporary Redirect：临时重定向，保持方法
308 Permanent Redirect：永久重定向，保持方法

4.4 4xx 客户端错误

400 Bad Request：请求语法错误
401 Unauthorized：需要认证
403 Forbidden：拒绝访问
404 Not Found：资源不存在
405 Method Not Allowed：方法不允许
408 Request Timeout：请求超时
409 Conflict：资源冲突
413 Payload Too Large：请求体过大
414 URI Too Long：URI过长
429 Too Many Requests：请求过多（限流）

4.5 5xx 服务器错误

500 Internal Server Error：服务器内部错误
501 Not Implemented：未实现的功能
502 Bad Gateway：网关错误
503 Service Unavailable：服务不可用
504 Gateway Timeout：网关超时
505 HTTP Version Not Supported：HTTP版本不支持

五、HTTP头部字段深度解析

5.1 请求头（Request Headers）

通用头部：

Cache-Control：缓存控制（max-age、no-cache等）
Connection：连接控制（keep-alive、close）
Date：请求时间

请求特定头部：

Accept：客户端可接受的MIME类型

  Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

Accept-Encoding：支持的压缩算法

  Accept-Encoding: gzip, deflate, br

Accept-Language：语言偏好

  Accept-Language: zh-CN,zh;q=0.9,en;q=0.8

User-Agent：客户端标识

  User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36

Referer：来源页面
Authorization：认证信息（Bearer token、Basic auth）
Cookie：客户端Cookie

实体头部：

Content-Type：请求体类型
Content-Length：请求体长度
Content-Encoding：请求体编码

5.2 响应头（Response Headers）

通用头部：

Cache-Control：响应缓存策略
Connection：连接管理
Date：响应时间

响应特定头部：

Server：服务器软件信息

  Server: nginx/1.18.0

Location：重定向目标（用于3xx状态码）
Set-Cookie：设置Cookie

  Set-Cookie: sessionId=abc123; Path=/; HttpOnly; Secure; SameSite=Strict

实体头部：

Content-Type：响应体类型

  Content-Type: text/html; charset=UTF-8

Content-Length：响应体长度
Content-Encoding：响应体压缩方式
Content-Disposition：下载文件时的文件名

  Content-Disposition: attachment; filename="report.pdf"

5.3 特殊头部

CORS相关：

Access-Control-Allow-Origin：允许的源
Access-Control-Allow-Methods：允许的方法
Access-Control-Allow-Headers：允许的头部

安全相关：

Strict-Transport-Security：强制HTTPS
X-Content-Type-Options：防止MIME类型嗅探
X-Frame-Options：防止点击劫持
Content-Security-Policy：内容安全策略

六、HTTP缓存机制

6.1 缓存类型

强缓存：

Expires：绝对时间（HTTP/1.0）

  Expires: Wed, 21 Oct 2023 07:28:00 GMT

Cache-Control：相对时间（HTTP/1.1）

  Cache-Control: max-age=3600, public

协商缓存：

Last-Modified / If-Modified-Since
ETag / If-None-Match

6.2 缓存位置

浏览器缓存：Memory Cache、Disk Cache
代理服务器缓存：CDN、反向代理
网关缓存

七、HTTP连接管理

7.1 短连接 vs 长连接

短连接：每个请求建立新的TCP连接（HTTP/1.0默认）
长连接：多个请求复用同一个连接

  Connection: keep-alive
  Keep-Alive: timeout=5, max=100

7.2 HTTP/1.1优化

持久连接：减少TCP握手开销
管道化：多个请求可以同时发送（但按序响应）
队头阻塞问题：一个请求延迟会影响后续请求

7.3 HTTP/2特性

二进制分帧：提高解析效率
多路复用：真正并行传输
头部压缩：HPACK算法
服务器推送：主动推送资源

八、网站集群架构详细流程

8.1 七层负载均衡架构

客户端 → 防火墙 → 负载均衡 → Web服务器 → 应用服务器 → 缓存 → 数据库

8.2 详细处理流程

步骤1：防火墙层

功能：
访问控制列表（ACL）
DDoS防护
WAF（Web应用防火墙）
检测项目：
IP黑白名单
请求频率限制
SQL注入检测
XSS攻击检测

步骤2：负载均衡层

算法：
轮询（Round Robin）
加权轮询（Weighted RR）
最小连接数（Least Connections）
IP哈希（IP Hash）
健康检查：
TCP检查
HTTP检查（GET /health）
自定义脚本检查

步骤3：Web服务器层

常见软件：
Nginx：高性能、轻量级
Apache：功能丰富、模块化
处理流程：

  接收请求 → 解析请求 → 静态文件直接返回 → 动态请求转发

配置文件示例（Nginx）：

  server {
      listen 80;
      server_name www.oldboy.com;

      location /static/ {
          root /var/www/html;
          expires 30d;
      }

      location / {
          proxy_pass http://backend_server;
          proxy_set_header Host $host;
          proxy_set_header X-Real-IP $remote_addr;
      }
  }

步骤4：应用服务器层

常见技术栈：
Java：Tomcat、Spring Boot
Python：Django、Flask
PHP：PHP-FPM
Node.js：Express、Koa
处理流程：

  接收请求 → 路由分发 → 控制器处理 → 业务逻辑 → 数据访问 → 返回响应

步骤5：缓存层

缓存策略：
缓存穿透：布隆过滤器、空值缓存
缓存击穿：互斥锁、永不过期
缓存雪崩：随机过期时间、集群部署
常见缓存：
Redis：键值存储、支持数据结构
Memcached：简单键值存储、高性能

步骤6：数据库层

读写分离：
主库：写操作
从库：读操作
分库分表：
垂直分库：按业务拆分
水平分表：按数据量拆分

8.3 性能优化策略

CDN加速：静态资源分发
压缩传输：Gzip、Brotli压缩
图片优化：WebP格式、懒加载
代码优化：
减少HTTP请求（合并文件）
异步加载（JavaScript defer/async）
资源预加载（preload、prefetch）

九、监控与性能指标

9.1 核心指标

响应时间：
DNS解析时间
TCP连接时间
SSL握手时间（HTTPS）
TTFB（首字节时间）
内容传输时间
页面渲染时间
吞吐量：
QPS（每秒查询数）
TPS（每秒事务数）
并发用户数

9.2 监控工具

网络层：Ping、Traceroute、MTR
应用层：Chrome DevTools、curl
服务器：top、vmstat、iostat
日志：access.log、error.log

十、安全考虑

10.1 常见攻击与防护

SQL注入

防护：参数化查询、ORM框架

XSS（跨站脚本）

防护：输入过滤、输出转义、Content-Security-Policy

CSRF（跨站请求伪造）

防护：CSRF Token、SameSite Cookie属性

DDoS攻击

防护：限流、CDN、云防护服务

10.2 HTTPS最佳实践

强制HTTPS跳转
HSTS预加载列表
证书管理：自动续期、多域名证书
TLS配置：禁用旧版本、选择安全套件

十一、实战案例分析

11.1 电商网站优化案例

问题：首页加载慢（>5秒）

分析：
1. 图片未压缩：10张高清大图（总计5MB）
2. 未启用缓存：静态资源每次重新下载
3. 同步加载：JavaScript阻塞渲染
4. 数据库查询慢：商品列表查询未优化

解决方案：
1. 图片优化：
   - 转换为WebP格式（减少60%大小）
   - 实现懒加载
   - 使用CDN分发
2. 缓存策略：
   - 静态资源：Cache-Control: max-age=31536000
   - API响应：Redis缓存30秒
3. 代码优化：
   - JavaScript异步加载
   - CSS内联关键样式
   - 移除未使用代码
4. 数据库优化：
   - 添加索引
   - 查询缓存
   - 读写分离

结果：首页加载时间降至1.2秒

11.2 API设计最佳实践

# RESTful API设计示例

# 获取用户列表
GET /api/v1/users?page=1&limit=10
Accept: application/json
Authorization: Bearer xxxx

# 创建新用户
POST /api/v1/users
Content-Type: application/json

{
  "username": "john_doe",
  "email": "john@example.com",
  "password": "secure_password"
}

# 更新用户信息
PATCH /api/v1/users/123
Content-Type: application/json

{
  "email": "new_email@example.com"
}

# 删除用户
DELETE /api/v1/users/123