如何构建高扩展性网站？

要内容

　　本书从多个方面围绕高扩展性提出了50条建议，一个高扩展性的网站会随着业务的发展、用户的增加，自由的扩展架构，从而轻松的应付网站的快速发展。下面看看本书的具体内容：

化简方程

　　1 不要过度的设计

　　过度的设计相当于给系统增加了复杂度与维护的成本。而这些过度的设计，在正常的使用中，却没有太大的作用。往往是设计者自己认为很重要或者锦上添花的功能，实际用处不大。

　　2 设计时考虑到扩展性

　　在设计时要遵循一下的设计原则：设计时考虑20倍的容量，实现时考虑3倍的容量，部署时考虑1.5的容量。一面项目扩大时，临时扩展造成的困难。

　　3 把方案一简再简

　　应该遵循帕累托法则，20%的设计做了80%的工作，所以80%的时间，都应该放在这20%的设计上。

　　一个产品主要的功能其实都集中在几个点上，把这几个点设计好了，其他的都是些附加的功能而已。所以这核心的业务一定要保证足够的简洁易用。

　　4 减少DNS查询

　　每个不同的域下的文件，加载时都需要查询DNS。比如cnblogs.com与i.cnblogs.com就属于不同的域。那么在查询DNS的时候，就会查询两次。当业务量很大时，就会造成一定的影响。

　　5 尽可能减少对象

　　由于对象在浏览器访问时，需要加载。所以可以考虑减少请求文件的数量（数量与浏览器并发加载数有关），把一些对象尽量的合并。比如图标类的文件，可以合并成一个大的图片。合理的文件数量，会加速浏览器的访问加载。

　　6 使用同一品牌的网络设备

　　由于一个http请求，可能通过很多物理设备。比如负载均衡器，交换机，路由器。所以尽量使用同一品牌的设备，会避免一些意外的情况。

分布工作

　　7 X轴，横向复制

　　这种事最简单的服务扩充，通过克隆或者复制实现，比如你的应用放在多个服务器上进行服务。常见的比如集群，负载均衡等等，数据库的读写分离。

　　8 Y轴，拆分不同的东西

　　大型系统中，拆分不同的功能，比如注册、购买、查询、云盘。等等

　　9 Z轴，拆分不同的相似的东西

　　比如按照用户的级别，或者用户的地理位置等等拆分。

横向扩展设计

　　10 设计横向的扩展方案

　　扩展包括横向、纵向。横向就是通过复制克隆应用，利用小型机集群扩展。纵向就是提高服务器的硬件以及网络设施。

　　通过很多的案例都可以发现，单纯的升级硬件实现的纵向扩展，仅仅能解决一点点现实压力。而通过横向的集群扩展，却能够自由的实现伸缩。

　　11 采用经济型系统

　　与上面的原则类似，采用高价格的服务器，并不能保证日后的良好性能。应该使用普通的小型机集群扩展。

　　12 横向扩展数据中心

　　数据中心有很多的设计方案，比如

　　热冷站配置：使用热站提供服务，当热站崩溃时，使用冷站继续服务。

　　推荐使用多个实时站点，成本更低，动态调用。缺点是增加了运维的难度。

　　13 利用云技术进行设计

　　云计算的有点就是虚拟化，可以在业务峰值时，弹性的扩充设备。并且在日常处理用，归还该扩展。

　　缺点是提高了应用于虚拟环境的耦合。后面提到利用物理设备，隔离业务，在虚拟化的云计算中，可能会对业务隔离错误排查造成一定的干扰。

使用正确的工具

　　14 合理使用数据库

　　目前有许多的数据库版本，比如传统的关系型数据库Oracle、MySQl，还有比较新的非关系型数据库NoSql，比如MongoDB，以及内存数据库FastDB，还有专门针对SSD固态硬盘的Aerospike等等。

　　但是到了选型的时候，还是要一句个人的业务需求来定。看你的数据库要求的是速度，还是安全性等等。

　　15 防火墙，到处都是防火墙

　　防火墙可以对一些无效的访问进行拦截过滤。通常把一些CSS，静态文件，图片，JS等不采用防火墙，而关键的业务涉及到个人信息时采用。合理的设计防火墙，也会对网站的性能产生一定的影响。

　　16 积极的利用日志文件

　　利用各种日志以及工具，实时的监控业务。不仅仅是监控服务器的内存CPU，还应该监控业务上的数据。比如splunk（提供日志的搜集，存储，搜索，图形化展示）。

不要做重复的工作

　　17 不要立即检查刚做过的工作

　　比如刚刚写如了数据，不要立即读取。虽然有些客户需要保证数据的完整，不能丢失。但是可以通过日志等记录，写完查这种做法，还是不推荐。

　　18 停止重定向

　　重定向会消耗一定的延迟，计算资源。应该尽量避免

　　19 放松时序约束

　　大多数的关系型数据库讲究ACID属性，扩展时就造成一定的困扰。因此某些业务适当的放松时序约束，可以提高网站的性能。

　　比如某站在预定酒店时，用户预定后，会等待酒店的审核。比如某宝，在提款时，进行范围时间的确认。这种就是扩大了时序约束，进而提高网站性能以及事务安全。

积极利用缓存

　　20 利用CDN

　　可以利用CDN保存客户的数据和内容。大概的过程是，用户在进行网站访问时，转到CDN的服务器，CDN执行DNS查询，把用户请求分摊到不同的服务器。有很多的CDN服务商提供这种服务。

　　21 使用过期头

　　针对不同的对象类型，使用过期头，减少对象请求。常见的HTTP对应属性为:public no-cahe max-age等等

　　22 缓存Ajax调用

　　正确修改Http头Last-Modified Cache-Control Expires等属性。

　　23 利用页面缓存

　　缓存响应之前的冬天请求，降低web服务器的负载。

　　24 利用应用缓存

　　比如针对某些特殊的用户，缓存其请求数据。

　　25 利用对象缓存

　　适用于反复查询使用的数据对象。比如一个购物网站，缓存器热销产品数据。

　　26 把对象缓存放在自己的层上

　　使用单独的缓层，易于扩展和维护。

从错误中吸取教训

　　27 积极的学习

　　一个公司有学习的氛围，才会衍生出更好的产品。学习的内容一方面包括客户的业务知识，一方面来自技术和运维领域。

　　28 不要依靠QA发现失误

　　雇佣测试或者质量保证人员，最大的目的是为了检测产品的正确性。它能减少成本，提高开发人员的开发速度，因为开发人员不需要时刻关注代码的正确性，可以交给QA来测试。

　　但是QA只负责发现问题，如何避免为题还是得依靠开发人员。

　　29 没有回退的设计是失败的设计

　　这里的回退，指的是产品发布的回退。如果碰上某些版本的BUG，可能需要交付之前可运行的版本，此时没有回退，就无法交付产品了。

　　这里推荐学习持续集成的相关内容。

　　30 讨论失败并从中吸取教训

　　不应该在同一个问题上失败两次，每次失败多进行总结是不可缺少的。

数据库原则

　　关系型数据库的ACID属性：

　　原子性：一个事务要么全执行，要么都不执行，

　　一致性：事务开始和结束时，所有数据状态要一致，

　　隔离性：事务的表现，是事务对数据库唯一的操作，

　　持久性：事务完成，操作不能更改。

　　31 注意代价高的关系

　　应该在设计阶段完善的设计表的结构，等开发开始时，在增加某些列，可能会花费很高的代价。

　　32 使用正确的数据库锁

　　数据库有很多锁的概念，比如隐式锁、显式锁、行锁、页锁、范围锁、表锁、数据库锁等等。

　　不合理的使用锁，会影响网站的吞吐量。

　　33 不要使用多阶段提交

　　比如两阶段提交：先表决，在提交。这回降低扩展性，因为在其提交事务完成前，是不能作其他操作的。

　　34 不要使用select for update

　　因为FOR UPDATE从句会导致锁定行，降低事务处理的速度。

　　35 不要选择所有的数据

　　比如select * from xxx;

　　这种做法第一是不开与数据的扩展，比如本来有四列数据，业务处理代码直接写死。当增加了一列数据时，就会导致出错；另外就是会查询出不必要的数据。

　　或者inset into xxx values(xxxx);

　　这是当列信息不匹配时，也会出错。

容错设计与故障控制

　　36 采用隔离故障的”泳道“

　　服务与数据的划分有很多种，比如容器，集群，池，分片，泳道。泳道意味着每个业务有自己的领域，不能跨泳道调用。

　　37 不要信任单点故障

　　有很多系统设计成单点模式，当整个系统只是用该模块时，当出现单点故障，整个系统也就崩溃了。

　　38 避免系统串联

　　比如一个系统有很多的组件组成，每个组件99.9%的安全性，当串联3个组件时，整个系统的可用性就变成了99.7%。

　　39 确保能够启用/禁用功能

　　对于某些共享库，第三方服务，应该提供开启或者关闭的功能。

避免或分发状态

　　40 努力实现无状态

　　实现状态会限制扩展性，增大成本

　　41 尽可能在浏览器端维护会话

　　一方面降低服务器压力，另一方面任何的请求可以发送给任何的服务器。

　　42 利用分布式缓存存放状态

　　使用独立的缓存层，利于扩展。有很多分布式的缓存方案，比如memcached。

异步通信和消息总线

　　43 尽可能使用异步通信

　　异步通信，可以确保每个服务和层之间的独立性，这样易于早呢更加系统的扩展性和减小耦合度。

　　44 确保消息总线能够扩展

　　尽量采用Y轴或者Z轴扩展，即按业务需求和功能扩展。因为单纯的复制或者克隆，反而会增加各个消息订阅者的监听数目。按照业务隔离，可以分离业务压力。

　　45 避免让消息总线过度拥挤

　　衡量价值与消息的成本。

其他原则

　　46 慎用第三方解决方案扩展

　　企业如果出现问题，那么寻找第三方能够解决燃眉之急。但是却不是长久之计，因为解决方案的提供商有很多客户，你的危机并不是他们的危机，所以不可能在关键时刻，尽职尽责。因此企业还是应该有一定的掌控力（这个词真是高大上！）。

　　47 清除、归档和成本合理的存储

　　有一些不必要的数据，就应该定期的删除。一些略有价值的数据进行定期的归档直接删除。一些很有价值的数据，应该进行备份以及快速访问。

　　48 删除事务处理中的商业智能

　　应该把产品系统与业务系统分离，提高产品的扩展性。

　　避免业务扩展时，受到系统架构的限制。

　　49 设计能够监控的应用

　　应该设计全局的监控策略，保证回答

　　”发生了 问题了吗？“

　　”哪里发生了问题？“

　　”发生了什么问题？“

　　”会发生问题吗？“

　　”能自动修复吗？“

　　50 要能胜任

　　应该在每个设计中涉及到最优秀的架构，不能完全依赖第三方的解决方案。

　　一个简单优秀的架构，都是小而精的，如果单纯的依靠开源解决架构，虽然解决了问题，却会导致应用的臃肿。

参考

　　【1】《高扩展性网站的50条原则》

如果本文对你有帮助，别忘记给我个3连 ，点赞，转发，评论，

咱们下期见！学习更多JAVA知识与技巧，关注与私信博主（666）

本样式对齐文本text-align属性用于指定文本块的对齐方式，可选值包括： 1）start：内容对齐开始边界，默认； 2）end：内容对齐结束边界； 3）left：内容左对齐； 4）right：内容右对齐； 5）center：内容居中对齐； 6）justify：内容两端对齐。当text-align属性使用了justify值时，可以使用text-justify属性指定文本添加空白的方式，这个属性...

了解了包的概念，就可以系统的介绍Java中的访问控制级别。在Java中，针对类、成员方法和属性提供了四种访问级别，分别是private、default、protected和public。 权限访问修饰符（权限从大到小依次往右排） public(公共) protected(受保护) default(缺省) private（私有） 同一个类 √ √...

Rust 提供了代码封装的机制。可以通过crate (等同于Java中的package)创建相对独立的module模块，模块中封装了可以重复使用的功能函数。当创建了自己的 lib 库或者要使用第三方的库的时候(这些库就是一些事先写好的crate)需要将这些库中的module 模块引用到当前的环境中。Rust提供了以下几种引用方式：一、使用 extern crate在使用这些Module的文件中，通过...

填空题： 他______牺牲生命_______出卖组织？ 据数据统计，不同年代的同学回复的最多的是….. 60后，他宁可牺牲生命，也不出卖组织。 70后，他害怕牺牲生命，所以出卖组织。 80后，他与其牺牲生命，不如出卖组织。 90后，他即使牺牲生命，也要出卖组织。 00后，他白白牺牲了生命，忘了出卖组织。 上边的案例，引发了大家对”自我与企业关系的思考”. 能力与欲望...

历届试题 国王的烦恼 时间限制：1.0s 内存限制：256.0MB 问题描述 C国由n个小岛组成，为了方便小岛之间联络，C国在小岛间建立了m座大桥，每座大桥连接两座小岛。两个小岛间可能存在多座桥连接。然而，由于海水冲刷，有一些大桥面临着不能使用的危险。 如果两个小岛间的所有大桥都不能使用，则这两座小岛就不能直接到达了。然而，只要这两座...

go test命令参数问题在使用go test对go代码进行单元测试的时候，遇到关于命令参数的问题，google了一下，没有找到很好的说明，其实就是一些细节而已。问题是这样的，在进行单元测试的时候，我希望输入一些命令行参数来控制程序的运行。 参考go官方文档，只需要在go test后面加上-args和参数就可以了 例如 go test -args -classpath E:\testcase...

阿里云OSS-使用经验总结，存储，账号-权限，分页，缩略图，账号切换最近项目中，需要使用云存储，最后选择了阿里云-对象存储服务OSS。总的来说，比较简单，但是仍然遇到了几个问题，需要总结下。1.OSS总的使用介绍 https://help.aliyun.com/document_detail/oss/sdk/java-sdk/manage_object.html?spm=5176.docoss/...

WEB应用图片的格式,以及各自的特点和优化(一) by FungLeo前言12年前我入行三天.用table布局做了一个非常粗糙的网页.我说了一句话,”网页就是表格加文字加图片,图片分两种,插入图片和背景图片”.这句话在今天看来,当然是一个笑话.但是当时我说出这句话的时候,当时的那些前辈都非常认可我的总结,并且认为我很有从事网络发展的潜力啊.哎,要不是他们的鼓励,说不定我早转行了……扯远了.说回正题,...

1. 单表数据的导出针对单表数据的导出操作，MongoDB 提供了 mongoexport 命令。mongoexport 既可以将数据导出为 CSV 格式的文件，也可以导出 JSON 格式的文件。这两者之间的区别是：JSON 是 mongoexport 默认的导出格式，不需要指定，而要导出 CSV 格式的话需要明确指定；导出 CSV 格式必须显式指定各属性名，而导出 JSON 格式不需要。由此可见...

商业智能对于中小企业来说，由于其高昂的费用和运行维护技术水平要求高，往往难以承受，商业智能SAAS系统平台+模块的创新模式的出现能帮助中小企业走上商业智能之路。...

stack.sh给出了一个非常好的例子，关于学习openstack创建 1.检查devstack文件，检查bash4.2以上，检查用户，不能是root2.准备环境，导入函数3.检查local.conf和localrc是否都存在，如果存在使用localrc4.检查是否已经运行devstack5.代理设置和禁用无效服务6.配置sudo7.配置distro库8.配置目标目录，创建目标目录9.配置主机、日...

博客地址：http://blog.csdn.net/FoxDave本文介绍如何利用SharePoint客户端对象模型（.NET）逐级获取Office 365网站中List的内容，仅仅是示例，没有讲究太多东西。代码如下：ClientContext ctx=new ClientContext(""); ctx.Credentials=new SharePointOn...

题外话Atom,风风雨雨走过一年多了.,目前最新版本是V1.7.0 .社区还是相当活跃;体验也改善了很多;但是性能上还是欠缺;今天我再来介绍自己常用的一款插件git-control插件介绍 官方介绍页面 作者: jacogr Github地址 我的介绍 就是命令行的GUI版本,,有些类似sourcetree,但是不如它强大,日用满足使用在编辑器下加载git版本的工作目录;工具默认启用快捷键...

安装devstack后，如果没有设置参数，执行openstack命令是不成功的。1.登录到horizon页面，使用admin登入，进入project->compute-> Access&Security -> API Access，记录下Service Endpoint。或选择download OpenStack RC File按钮，下载demo-openrc.sh文件2.将demo-openrc...

对于这样的问题,看到第一眼就是暴力破解,所以也就递归找到所有情况,再筛选出合格的小明被劫持到X赌城，被迫与其他3人玩牌。 一副扑克牌（去掉大小王牌，共52张），均匀发给4个人，每个人13张。 这时，小明脑子里突然冒出一个问题： 如果不考虑花色，只考虑点数，也不考虑自己得到的牌的先后顺序，自己手里能拿到的初始牌型组合一共有多少种呢？思路: 首先无论怎么取,手牌为13张的时候结束.也就是递归结束标...

网红和粉丝经济，是最近几年流行起来的概念。 截至目前，有一些初步的认识，整理成文。 粉丝，最早是明星的跟随者比较多。 我的理解是，对于一个人物、动物、运动等，有着共同的兴趣，从而建立多个人和一个人之间的关系，比如粉丝和明星。 粉丝经济，大获成功的标志是，雷军和小米科技。在创业早期，就把粉丝经济和社交传播结合在一起，低成本地实现了全网营销。从此以后，各大手机厂商等很多领域的企业，都...

关于android端apk退出方式的设计，现在大体只有下面几种：1，有退出和取消按钮；2，一定时间内两次返回为退出；3，一次返回就是退出。首先可以看到这两个用按钮的，退出都在左侧，设计者肯定没有看过十年前雅虎研究院出的web端设计指导，下一步的操作一定是在右侧，而返回上一步的操作是在左侧。但是到了移动端应该考虑用户是左手还是右手使用，也就是说，如果是左手使用，这个位置设计没有问题，反之就不用说了。...

写在最前:本文主要描述在网站的不同的并发访问量级下，Mysql架构的演变可扩展性架构的可扩展性往往和并发是息息相关，没有并发的增长，也就没有必要做高可扩展性的架构，这里对可扩展性进行简单介绍一下，常用的扩展手段有以下两种Scale-up : 纵向扩展，通过替换为更好的机器和资源来实现伸缩，提升服务能力Scale-out : 横向扩展, 通过加节点（机器）来实现伸缩，提升服务能力对于互联网的高并...

angular.js中，指令是最基础的也是最重要的工具之一。angular.js指令指的是以ng为前缀的HTML属性。在之前的ng-app、ng-model等，都属于指令。 angular.js中的基本指令包括如下内容： · 1.ng-app/ng-model ng-app指令用于声明angular,js的作用范围，ng-model用于声明模型。这些在之前都已经进行过详细介绍。 2.ng-...

java编码 当你的字节序列是某种编码时，这个时候想把字节序列变成 字符串，也需要用这种编码方式，否则会出现乱码 文本文件就是字节序列 可以是任意编码的序列，如果在中文机器上直接创建文本文件，那么该文本文件 只认识ANSI编码 案例： public class Bianma { public static void main(Strin...

调试JDK源码-一步一步看HashMap怎么Hash和扩容调试JDK源码-ConcurrentHashMap实现原理调试JDK源码-HashSet实现原理调试JDK源码-调试JDK源码-Hashtable实现原理以及线程安全的原因 ConcurrentHashMap线程安全的总结是我从源码分析出来的：ConcurrentHashMap所谓线程安全是哈希冲突的时候新增的节点是线程安全的，而 Conc...

对于后台系统的搜索进行UI自动化，主要是比对页面查询结果是否与预期一致（即数据库查询结果） search.py# -*- coding:utf8 -*- import HTMLTestRunner import time import unittest import public from selenium import webdriver class Search(unittest.TestCa...

ajax 的全称是Asynchronous(异步的意思) JavaScript and XML，是一种创建交互式网页应用的网页开发技术 ajax技术的流行得益于google的大力推广，正是由于google产品对ajax技术的广泛应用，使得ajax流行起来了。 Ajax其核心有JavaScript、XMLHTTPRequest、DOM对象组成，通过XmlHttpRequest对象来向服务器发异步请求，从服务器获得数据，然后用JavaScript来操作DOM而更新页面。这其中最关键的一步就是从服务器获得请...

一、SpringMVChttp://blog.csdn.net/evankaka/article/details/45501811Spring Web MVC是一种基于Java的实现了Web MVC设计模式的请求驱动类型的轻量级Web框架，即使用了MVC架构模式的思想，将web层进行职责解耦，基于请求驱动指的就是使用请求-响应模型，框架的目的就是帮助我们简化开发，Spring Web MVC也是要简...

概念： 优化策略：字段选择性 选择性较低索引 可能带来的性能问题索引选择性=索引列唯一值/表记录数；选择性越高索引检索价值越高，消耗系统资源越少；选择性越低索引检索价值越低，消耗系统资源越多；查询条件含有多个字段时，不要在选择性很低字段上创建索引可通过创建组合索引来增强低字段选择性和避免选择性很低字段创建索引带来副作用；尽量减少possible_keys，正确索引会提高sql查询速度，过多索引...

一. 什么是Spark？ Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需...

相比之前的增改查，删除就显得简单的多了。 这里的request的type为delete,删除成功的status为204,404则是要删除的记录不存在 var id='BAD90A95-7FEA-E511-9414-ADA183AB6249'; $.ajax({ async: false, type: "DELETE ", co...

关于JPush极光推送是国内的服务厂商提供的一站式push服务（同时支持iOS、android），后面也加入了即时通讯的能力供app使用。致力于打造简单、可靠、价格有竞争力的服务(简单功能全免费，高级版才收费)，让应用开发商可以聚焦业务开发，push相关的技术实现全部通过极光推送来解决，仅需调用极光推送的api即可。正因为如此，开发者小伙伴们对其的评价相当不错。笔者的app新增了从服务器往移动客户端...

Mapreduce初析 Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output），这个输出就是我们所需要的结果。 重点就是这个计算模型的运行规则。在运行一个mapreduce计算任务时候，任务过程被分为两个阶段：map阶段...

Jquery对象常用的方法:$(”p”).addClass(css中定义的样式类型); 给某个元素添加样式 $(”img”).attr({src:”test.jpg”,alt:”test Image”}); 给某个元素添加属性/值，参数是map $(”img”).attr(”src”,”test.jpg”); 给某个元素添加属性/值 $(”img”).attr(”title”, function(...

>同理，横向行统计时输入=SUM(FILTER(DROP($B$2:$O$9,-1,-2),COLUMN(DROP($B$2:$O$9,-1,-2))=COLUMN()))后横拉，公式COLUMN(DROP($B$2:$O$9,-1,-2))=COLUMN())的作用就是条件，为当前列的数据即B2:B8，FILTER 函数是提取满足条件的数据，SUM函数是对数据求和。