整合营销服务商

电脑端+手机端+微信端=数据同步管理

免费咨询热线：

Kubernetes已部署集群切换kube-apiserver等核心容器镜像仓库地址

景

使用Kubeadm在国内部署Kubernetes集群时，由于无法访问k8s.gcr.io，就修改了默认的仓库地址，直接使用了Azure 提供的gcr.azk8s.cn/google_containers仓库。

部署信息

操作系统：Centos7

Kubernetes：v1.17.0 单Master节点

问题

docker pull gcr.azk8s.cn/google_containers/pause:3.1
Error response from daemon: error parsing HTTP 403 response body: invalid character '<' looking for beginning of value: "<html>\r\n<head><title>403 Forbidden</title></head>\r\n<body bgcolor=\"white\">\r\n<center><h1>403 Forbidden</h1></center>\r\n<hr><center>nginx/1.14.0 (Ubuntu)</center>\r\n</body>\r\n</html>\r\n"

近期Azure调整了策略，其仓库只允许 Azure China IP 使用，不再对外提供服务, 如果确实有需求，可以联系akscn@microsoft.com并提供IP地址。

官方说明：https://mirror.azure.cn/help/docker-registry-proxy-cache.html

这样我在新增节点时就无法下载`kube-proxy`以及`pause`镜像了，甚至已有节点出现意外时，对恢复节点也造成一定影响。

目标

切换所有相关镜像至新的仓库。

实施

升级过程中服务会短暂中断，也可能存在未知风险，应提前做好准备。

升级过程中服务会短暂中断，也可能存在未知风险，应提前做好准备。

升级过程中服务会短暂中断，也可能存在未知风险，应提前做好准备。

仓库切换涉及到两个核心内容：

1. Kubernetes集群镜像，以及现有运行中的所有基础服务。

2. Kubeadm配置信息，保证新增节点拿到新的配置信息，进行初始化。

创建仓库代理

创建代理仓库的细节网上很多，就不详细赘述。

网上可以找到很多更好的仓库，像：阿里、中科大、网易都有相关的服务提供。为了以后不会在出现什么意外，我还是选择了自建代理，使用了阿里云香港节点的轻量应用服务器做了代理，宽带峰值30M，每月1T流量，经常会被限速，体验不怎么好，但好歹不会突然变化了。急需的同学倒是可以拿来应急下。

  • hub.docker.com -> dockerhub.msorg.cn
  • gcr.io -> gcr.msorg.cn
  • k8s.gcr.io -> k8sgcr.msorg.cn
  • quay.io -> quay.msorg.cn

镜像清单

镜像清单可以通过kubeadm config images list命令查看到。

k8s.gcr.io/kube-apiserver:v1.17.0
k8s.gcr.io/kube-controller-manager:v1.17.0
k8s.gcr.io/kube-scheduler:v1.17.0
k8s.gcr.io/kube-proxy:v1.17.0
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.4.3-0
k8s.gcr.io/coredns:1.6.5

kube-apiserver、kube-controller-manager、kube-scheduler、etcd可以在主节点的/etc/kubernetes/manifests/目录下找到，yaml配置文件修改保存后立即生效。

coredns、kube-proxy是发布到Kubernetes集群中的，直接kubectl更新配置。

pause是与kubelet绑定在一起的，修改service配置即可。

更新kubeadm配置

Kubernetes中存有名为kubeadm-config的ConfigMap配置信息，需要对其进行更新。

可以使用kubectl edit cm kubeadm-config -n kube-system命令进行编辑，修改imageRepository部分，如：imageRepository: gcr.msorg.cn/google_containers

更新kube-apiserver

在主节点的/etc/kubernetes/manifests/目录中，找到kube-apiserver.yaml文件，修改其中的image部分即可,如：image: gcr.msorg.cn/google_containers/kube-apiserver:v1.17.0

修改之后保存文件立即生效

更新kube-controller-manager

在主节点/etc/kubernetes/manifests/目录中，找到kube-controller-manager.yaml文件，修改其中的image部分即可,如：image: gcr.msorg.cn/google_containers/kube-controller-manager:v1.17.0

修改之后保存文件立即生效

更新kube-scheduler

在主节点/etc/kubernetes/manifests/目录中，找到kube-scheduler.yaml文件，修改其中的image部分即可,如：image: gcr.msorg.cn/google_containers/kube-scheduler:v1.17.0

修改之后保存文件立即生效

更新etcd

在主节点/etc/kubernetes/manifests/目录中，找到etcd.yaml文件，修改其中的image部分即可,如：image: gcr.msorg.cn/google_containers/etcd:3.4.3-0

修改之后保存文件立即生效

更新coredns

coredns被以deployment的方式发布在Kubernetes集群之上，我们只需要修改其配置即可。

可以使用命令kubectl edit deployment coredns -n kube-system,修改其image部分配置，如：image: gcr.msorg.cn/google_containers/coredns:1.6.5

更新kube-proxy

kube-proxy被以daemonset的方式发布在Kubernetes集群之上，我们只需要需改其配置即可。

可以使用kubectl edit daemonset kube-proxy -n kube-system命令进行编辑，修改其image部分配置，如：image: gcr.msorg.cn/google_containers/kube-proxy:v1.17.0

更新pause镜像

该镜像配置被放在每个节点上的kubelet启动命令中，可以通过以下方式确认。

使用ps -ef | grep kubelet命令查看当前kubelet启动信息

root     26588     1  2 Apr11 ?        06:18:01 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --network-plugin=cni --pod-infra-container-image=gcr.msorg.cn/google_containers/pause:3.1

可以看到在启动时有pod-infra-container-image参数，修改此参数即可。具体此参数如何修改，因为系统不同，可能方式也不太一样，下面以Centos7系统为例，Centos7使用了systemd，演示如何查找该参数配置位置。

第一步：kubeadm已经将kubelet已经被安装为service了，可以使用service kubelet status查看当前service信息。

kubelet.service - kubelet: The Kubernetes Node Agent
   Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)
  Drop-In: /usr/lib/systemd/system/kubelet.service.d
           └─10-kubeadm.conf
   Active: active (running) since Sat 2020-04-11 17:27:03 CST; 1 weeks 1 days ago
     Docs: https://kubernetes.io/docs/
 Main PID: 26588 (kubelet)
    Tasks: 35
   Memory: 196.4M
   CGroup: /system.slice/kubelet.service
           └─26588 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --network-plugin=cni --pod-infra-...

从以上信息中我们可以看到当前使用的service配置文件为/usr/lib/systemd/system/kubelet.service，并且加载了10-kubeadm.conf

第二步：查看service配置

使用cat /usr/lib/systemd/system/kubelet.service进行查看

[Unit]
Description=kubelet: The Kubernetes Node Agent
Documentation=https://kubernetes.io/docs/
[Service]
ExecStart=/usr/bin/kubelet
Restart=always
StartLimitInterval=0
RestartSec=10
[Install]
WantedBy=multi-user.target

发现其中并没有什么特别的，进一步查看10-kubeadm.conf，至于这个文件呢，在/usr/lib/systemd/system/kubelet.service.d路径下，或者使用find命令进行查找即可。

[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/sysconfig/kubelet
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS

从此文件中我们可以找到/var/lib/kubelet/kubeadm-flags.env文件是在kubeadm init与kubeadm join时产生的。基本可以确定下一步的目标了。

第三步：查看/var/lib/kubelet/kubeadm-flags.env文件

使用cat /var/lib/kubelet/kubeadm-flags.env查看该文件

KUBELET_KUBEADM_ARGS="--cgroup-driver=systemd --network-plugin=cni --pod-infra-container-image=gcr.msorg.cn/google_containers/pause:3.1"

我们会发现需要的内容真的在里面，这时候只需要改了pod-infra-container-image这个参数为我们所需要的，重新启动kubelet即可，每个node节点都需要手动修改。

总结

至此所有操作就已经完成了，当然了，此方式比较野路子。哪位大神有官方相关材料，可以告诉小弟的。

者：NSS

翻译：杨金鸿

术语校对：韩海畴

全文校对：林亦霖

本文约3000字，建议阅读7分钟。

本文为带大家了解R语言以及分段式的步骤教程！

人们学习R语言时普遍存在缺乏系统学习方法的问题。学习者不知道从哪开始，如何进行，选择什么学习资源。虽然网络上有许多不错的免费学习资源，然而它们多过了头，反而会让人挑花了眼。

为了构建R语言学习方法，我们在Vidhya和DataCamp中选一组综合资源，帮您从头学习R语言。这套学习方法对于数据科学或R语言的初学者会很有用;如果读者是R语言的老用户，则会由本文了解这门语言的部分最新成果。

R语言学习方法会帮助您快速、高效学习R语言。

前言

在开始学习之前，第一个要回答的问题是:为什么要用R语言？或者R语言为何如此有用?

R语言是一门快速发展的开源软件，是SAS、STATA和SPSS这类商业软件的竞争对手。就业市场对R语言的需求正在迅速上升，微软等公司也同时承诺将致力让R语言成为数据科学通用语言。

看看由Revolution Analytics制作的90秒视频（https://www.youtube.com/watch?v=VlJnNSeO1uQ），您就知道R语言的用处。顺便说下，微软刚刚收购了Revolution Analytics。

步骤一：配置计算机环境

建立R语言学习环境最简单方法是通过综合R语言归档网络(CRAN)下载（https://cran.r-project.org/）到您的本地计算机上。可以选择Linux、Mac和Windows对应二进制文件下载。

您可能会考虑使用R语言自带的控制台，但我们建议您安装R语言集成开发环境(IDE)。RStudio（https://www.rstudio.com/）是最有名的IDE，它能让R语言编码更容易、更快，还能让您输入多行代码、处理图形、安装和维护程序，有效引导您的编程环境。RStudio此外可以选用基于eclipse的Architect（http://www.openanalytics.eu/architect）。如果需要安装图形用户界面（GUI），请选择R-commander（http://www.rcommander.com/）或Deducer（http://www.deducer.org/pmwiki/index.php?n=Main.WindowsInstallation）。

课后作业

  • 安装R和RStudio。

  • 安装Rcmdr、rattle和Deducer程序包。以及推荐或依赖的程序包，包括GUI。

  • 使用库命令加载安装程序，并打开GUI。

步骤二：R语言基础学习

您应该首先了解语言、库和数据结构基础知识。

如果您更倾向于在线交流方式学习R语法，DataCamp（https://www.datacamp.com/courses/free-introduction-to-r）提供的免费在线R教程是很好的资源。还可以选择后续课程:中级R编程（https://www.datacamp.com/courses/intermediate-r）。另一种学习方法是在线版本swirl（https://www.datacamp.com/swirl-r-tutorial），它能让您在类似RStudio环境中学习R语言。

在互动学习环境中，您可以选择参加Coursera（https://www.coursera.org/specializations/jhu-data-science）或Edx（https://www.edx.org/course/introduction-r-programming-microsoft-dat204x-0）上mooc课程。

除了上述在线资源，您还可以考虑以下优秀资源:

  • CRAN免费教学R语言（https://cran.r-project.org/doc/manuals/R-intro.pdf）。

  • Jared Lander’s R for Everyone（http://www.jaredlander.com/r-for-everyone/）

  • Quick-R（http://statmethods.net/）

专门学习:阅读、数据帧、表、概述、描述、加载和安装包、使用绘图命令可视化数据。

课后作业

  • 使用DataCamp免费在线R教程，熟悉基本的R语法。

  • 创建Github（http://github.com/）账号。

  • 通过google帮助，解决安装过程中出现的问题。

  • 安装swirl包并学习R编程(见上文)。

步骤三:了解R社

强大社区的存在是R语言发展迅速、大获成功的主要原因。社区中核心的是R语言的“包”生态系统。R语言程序包可以在CRAN、bioconductor、github和bitbucket中下载。在Rdocumentation（http://www.rdocumentation.org/）中，您可以轻松搜索来自CRAN、github和bioconductor中能满足您当前工作需要的程序包。与在R语言程序包生态系统同样重要的是，您可以在R endeavours上轻松获得帮助与反馈。首先，R内置帮助系统，您可以通过命令来访问。同时，在Analytics Vidhya Discussions，Stack OverflowR语言是增长最快语言。R-bloggers（http://www.r-bloggers.com/）汇集许多R语言爱好者写的博文。

课后作业：

  • 访问CranTask Views了解R语言生态系统。

  • 在http://r-bloggers.com上注册并订阅每日新闻。

步骤四：数据导入和操作

导入和操作数据是数据科学工作流程中重要步骤。R语言允许使用特定包导入不同数据格式，从而使您工作更轻松,如下：

  • readr:导入平面文件。

  • Readxl package:将excel文件转化为R语言。

  • haven package包:让您将SAS、STATA和SPSS数据文件导入R语言。

  • Databases:连接通过像RMySQL和RpostgreSQL包，使用DBI访问和操作。

  • rvest： 网页数据抓取。

一旦数据在工作环境中可用，您就可以使用下面程序包操作:

  • 整理数据的tidyr程序包。

  • stringr包处理字符串操作。

  • 对象数据帧，可以学习dplyr包输入和输出（https://www.datacamp.com/courses/dplyr-data-manipulation）。

  • 需要执行繁重数据争用任务?试试data.table程序包。

  • 执行时间序列分析?尝试一下像zoo，xts和quantmod程序包。

课后作业

  • 通过“导入数据进入R语言”课程，或阅读文章1、2、3、4。掌握导入数据软件包。

  • 通过RStudio观看Data Wrangling with R 。（https://www.rstudio.com/resources/webinars/data-wrangling-with-r-and-rstudio/）

  • 阅读并练习如何使用dplyr、tidyr和data.table程序包。

步骤五：有效数据可视化

自己创建数据可视化作品是一件很自豪的事情。然而，数据可视化既是一项技能，也是一门艺术。许多学者阅读Edward Tufte 的“可视化定量数据”原理，或者StephenFew的 “pitfalls on dashboard design”。也可以阅读NathanYau在FlowingData 写的博文，来获得创建R语言可视化灵感。

1. 平面图无处不在

R语言提供了多种创建图形方法，使用原理图创建图形是标准的方法。然而，有一些好的工具(或包)使用更简单的方式来创建，查看图形。

  • 在R语言中学习基本图形语法是数据可视化中一种实用方法。

  • 在R语言中ggplot是数据可视化中最重要的包，并且很受欢迎，网上有很多它的学习资源，比如在线ggplot2教程，cheatsheet ，和以及一本由哈德利韦翰编写的教学书。

  • ggvis程序包允许您使用基本图形语法创建交互式web图形(参见教程)。

  • 您知道Hans Rosling ted课程吗?教您如何的用googleVis(一个带有谷歌图表接口)来重建图表。

  • 如果您遇到了绘制数据的问题，这篇文章会对您有所帮助。在这个CRAN任务视图中可以查看到更多的可视化资源。或者查看R语言数据可视化指南。

2. 地图无处不在

您对分析空间可视化数据感兴趣吗？学习本教程：介绍R语言空间数据，您会轻松地使用这些包。

  • 源自Google maps和ggmap开放街道的静态图片，可用来创建可视化空间数据和模型。

  • Ari Lamstein’s中的choroplethr程序包。

  • tmap 程序包

3. HTML插件

HTML插件是R语言可视化产品中非常有前景的插件，您可以用简单的方式创建交互式web可视化(参见RStudio教程)，掌握这种可视化方法将会成为R语言学习中必备技能。其带来的视觉效果会给您朋友和同事留下深刻印象。

  • leaflet创建动态图片。

  • 使用dygraphs生成时间序列数据图表。

  • 互动表(datatable)。

  • DiagrammeR创建图和流程图。

  • MetricsGraphics创建散点图、线图和直方图。

课后作业

  • 理解基本图形语法原理。

  • 学习ggplot2教程。

  • 使用RStudio环境学习html插件。

步骤六：数据挖掘、机器学习

对于新的统计数据学习方法，我们推荐下列资源:

  • Andrew Conway’s课程：R语言统计数据简介。

  • 杜克大学数据分析和统计推断。

  • R语言实用数据科学。

  • 约翰霍普金斯大学数据科学专业课程。

  • R语言数据科学使用指南。

如果您想提高机器学习能力，可以考虑从以下教程开始学习:

  • 机器学习算法要点。

  • 自行车共享大赛--一套R语言完整解决方案。

  • Kaggle上的机器学习课程。

  • 掌握机器学习。

  • 介绍机器学习。

确保在相关的CRAN任务视图中查看到R语言可用的机器学习资源。

课后作业

  • 从统计学课程开始入门。

  • 学习Kaggle上免费机器学习课程。

  • 看Rattle中的一些R语言数据挖掘书。

  • 可以从这本小册子上学习时间序列——A Little Book for Time Series in R .

步骤七：报告结果

与数据科学爱好者交流成果，分享见解是一件很重要的事情。幸运的是，R语言针对这个问题有一些非常实用工具。

第一个工具是R Markdown，采用knitr和pandoc复制方式生成您的数据分析结果报告。使用R markdown工具，R语言最终生成文档，替换R语言代码。文档可以是html、word、pfd、ioslides等格式。您可以通过本教程学到更多知识并使用cheatsheet作为参考资料。

第二个工具是ReporteRs，它是个创建Microsoft(Worddocx和Powerpoint pptx)和html R语言文档程序包，并可以在Windows、Linux、Unix和Mac OS系统上运行。像R Markdown工具一样自动生成R语言报告，点击这里我们来看看如何操作。

第三个是Shiny，目前R语言中最令人兴奋的工具。使R语言构建交互式web应用程序变得非常容易。您可以把分析报告转换为交互式web应用程序，您不需要了解HTML、CSS或Javascript相关知识。如果您想要学习Shiny ，请点击RStudio learning portal。

课后作业

  • 使用RMarkdown或ReporteRs创建第一个交互式报告。

  • 尝试构建一个Shiny应用。

练习

只有通过大量练习才能成为优秀R语言程序员。因此，要定期解决数据科学中的问题。我们的建议是赶紧开始与Kaggle上的数据科学家交流。

在解决问题中测试自己的R语言水平--练习中的问题。

步骤八:时间序列分析

R语言有一个用于专属任务视图时间序列。如果你想在R语言中做一些时间序列分析，这将是您开始的地方。您很快会发现工具的强大。

想要从在线资源中掌握时间序列分析是件不容易的事情。好的切入点是一本关于时间序列的书或者选择《原理与实践》这本书。在程序包方面，您需要熟悉Zoo与xts程序包。Zoo为您提供了常用的保存时间序列对象格式，而xts供了操作时间序列的数据集工具。

辅助资源: 时间序列综合教程。

课后作业

  • 选择上述列出的时间系列教程，开始您的分析。

  • 使用quantmod或quandl程序软件包下载财务数据，开始您的时间序列分析。

  • 使用诸如dygraphs的程序包创建您的可视化时间序列数据和分析。

文本挖掘一个重要工具

学习文本挖掘，您可以从edge课程中学习。虽然课程已经结束，但是您仍然可以访问这些课程。

练习

  • 文本挖掘竞赛--一套R语言的完整解决方案。

步骤九:成为R语言大师

现在您已经掌握了大部分R语言数据分析，是时候给出一些高级课程资源了。您很可能已经知道其中的一些内容，但不妨看看这些教程。

  • Hadley Wickham的高级R语言教程。

  • 在Hadoop、MongoDB或NoSQL中使用R语言。

  • 微软的RevoScaleR 程序包

原文链接：

https://www.analyticsvidhya.com/learning-paths-data-science-business-analytics-business-intelligence-big-data/learning-path-r-data-science/

杨金鸿，北京护航科技有限公司员工，在业余时间喜欢翻译一些技术文档。喜欢阅读有关数据挖掘、数据库之类的书，学习java语言编程等，希望能在数据派平台上熟识更多爱好相同的伙伴，今后能在数据科学的道路上走的更远，飞的更远。

在，我们已经充分了解了 HTTP 和 Socket 的关系，也了解了 HTTP 报文的格式，为了让小伙伴能够加深对这两个概念的理解，本文我们来看看如何利用 Socket 模拟 HTTP 请求。如果小伙伴们对 HTTP 和 Socket 的关系、HTTP 报文格式尚不熟悉的话，可以参考前面的文章 Http 和 Socket 到底是哪门子亲戚？。

由于 HTTP 是基于 TCP 协议的应用层协议，因此我们可以用更为底层的方式来访问 HTTP 服务，即直接使用 Socket 完成 HTTP 的请求和响应。我们前面说过，HTTP 的任务就是完成数据的包装， Socket 提供了网络的传输能力，所以我们只需要按照 HTTP 报文的格式来组装数据，然后利用 Socket 将数据发送出去，就能得到回应。

POST 请求上传数据

假设我现在有一个数据接口 http://localhost/hello，该接口每次接收一个参数 name ，调用成功之后返回给用户一个 hello:name 字符串，那我们用 Socket 来实现这样一个 HTTP 请求。

首先，我们要先组装出 HTTP 的请求头，如下(如果小伙伴对下面这个请求头有疑问，请复习 Http 和 Socket 到底是哪门子亲戚？一文)：

POST /hello HTTP/1.1
Accept:text/html
Accept-Language:zh-cn
Host:localhost

name=张三

我这里为了简单，只添加了三个请求头，然后我们通过 Socket 将上面这个字符串发送出去：

Socket socket = new Socket(InetAddress.getByName("localhost"), 80);
OutputStream os = socket.getOutputStream();
String data = "name=张三";
int dataLen = data.getBytes().length;
String contentType = "Content-Length:" + dataLen+"\r\n";
os.write("POST /hello HTTP/1.1\r\n".getBytes());
os.write("Accept:text/html\r\n".getBytes());
os.write("Accept-Language:zh-cn\r\n".getBytes());
os.write(contentType.getBytes());
os.write("Host:localhost\r\n".getBytes());
os.write("\r\n".getBytes());
os.write(data.getBytes());
os.write("\r\n".getBytes());
os.flush();

我在 Serlvet 中接收这个请求并作简单处理，如下：

BufferedReader br = new BufferedReader(new InputStreamReader(req.getInputStream(),"UTF-8"));
StringBuffer sb = new StringBuffer();
String str;
while ((str = br.readLine()) != null) {
    sb.append(str).append("\r\n");
}
System.out.println("sb:"+sb.toString());
resp.setContentType("text/html;charset=utf-8");
PrintWriter out = resp.getWriter();
out.write(sb.toString());
out.flush();
out.close();

然后通过 Socket 中的输入流我就能拿到响应结果，如下：

BufferedReader br = new BufferedReader(new InputStreamReader(socket.getInputStream()));
StringBuffer sb = new StringBuffer();
String str;
while ((str = br.readLine()) != null) {
    sb.append(str).append("\r\n");
}
System.out.println(sb.toString());

响应结果如下：

HTTP/1.1 200 
Content-Type: text/html;charset=utf-8
Transfer-Encoding: chunked
Date: Sun, 03 Dec 2017 10:46:52 GMT

name=张三

这是一个简单的通过 POST 请求下载文本的案例。接下来我们再来一个 GET 请求下载图片的案例，来加深对 Socket 的理解。

GET 请求下载图片

这个实际上也不难，但是要实现图片的下载需要我们首先熟悉HTTP响应的数据格式，不熟悉的小伙伴可以阅读 Http 和 Socket 到底是哪门子亲戚？一文。　　

下载图片，响应头是文本文件，响应数据是二进制文件，我们要想办法通过空行将这两块数据分开，分别处理。为了解决这个问题，我首先提供一个工具类，这个工具类用来实现一行一行的解析字节流，如下：　　

public class BufferedLineInputStream {
    private InputStream is;

    public BufferedLineInputStream(InputStream is) {
        this.is = is;
    }

    /**
     * @param buf    将数据读入到byte数组中
     * @param offset 数组偏移量
     * @param len    数组长度
     * @return 返回值表示读取到的数据长度 -1表示数据读取完毕，0表示其他异常情况
     */
    public int readLine(byte[] buf, int offset, int len) throws IOException {
        if (len < 1) {
            return 0;
        }
        //count用来统计已经向数组中存储了多少数据
        int count = 0, c;
        while ((c = is.read()) != -1) {
            buf[offset++] = (byte) c;
            count++;
            //如果一行已经读完或者数组已满
            if (c == '\n' || count == len) {
                break;
            }
        }
        return count > 0 ? count : -1;
    }
}

然后将响应中的头信息和图片分别保存在不同的文件中，数据解析的核心思路就是一行一行读取响应数据，当遇到 \r\n 表示头信息已经读取完了，要开始读取二进制数据了，二进制数据读取到之后，将之保存成图片即可。核心代码如下：

fos = new FileOutputStream("E:\333.png");
pw = new PrintWriter(new OutputStreamWriter(new FileOutputStream("E:\222.txt")));
socket = new Socket(InetAddress.getByName("localhost"), 80);
OutputStream out = socket.getOutputStream();
out.write("GET /1.png HTTP/1.1\r\n".getBytes());
out.write("Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\n".getBytes());
out.write("Accept-Language:zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3\r\n".getBytes());
out.write("Host:localhost\r\n".getBytes());
out.write("\r\n".getBytes());

BufferedLineInputStream blis = new BufferedLineInputStream(socket.getInputStream());
int len;
byte[] buf = new byte[1024];
while ((len = blis.readLine(buf, 0, buf.length)) != -1) {
    String s = new String(buf, 0, len);
    System.out.println(s);
    if (s.equals("\r\n")) {//表示头信息读取完毕
        break;
    }
}
//开始解析二进制的图片数据
while ((len = blis.readLine(buf, 0, buf.length)) != -1) {
    fos.write(buf, 0, len);
}

OK，Socket 模拟 HTTP 请求我们就先说到这里，两个案例，希望能够加深小伙伴对 Socket 和 HTTP 的理解。


在线咨询
上一篇：javascript变量#前端
下一篇：HTML常用标签概述（可用于网店装修）

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

推荐阅读
友情链接 乌海 宁河县 介休市 奉节县 阳谷县 沅江市 网站制作
Copyright © 2002-2019 雨点网络设计有限公司 版权所有   冀ICP备11025394号
联系电话：   E-mail：279303980@qq.com  
主营业务：技术文章网站建设、网站定制、技术文章营销型网站建设、技术文章网站优化、技术文章微商城制作、三级分销系统开发
电话沟通
在线客服