案例：匆忙打补丁和加拿大皇家银行的软件灾难

文：鼎捷ERP

作者：鼎捷数智 | 发布时间：2012-11-30 14:50:34

案例
1．匆忙打补丁
    计算机病毒和蠕虫越来越多，也越来越聪明。一些传播非常迅速的蠕虫，如Sasser、SQLSlammer、Blaster等，能在短时间内迅速扩散，其原因在于人们没有迅速更新软件从而导致无法发现这些蠕虫。
    软件公司发现软件产品的缺陷后，会发布补丁程序弥补缺陷。而在软件用户全面打补丁之前，黑客会利用时间差，攻击未打补丁的软件。甚至有黑客先于软件公司发现软件缺陷，在发布补丁程序之前设计蠕虫程序攻击系统。根据Foundstone公司(一家从事技术风险管理的公司)的估计，从软件公司公布软件缺陷到出现利用该协同软件缺陷的恶意软件，时间间隔已经从1999年的281天减少为现在的10天左右。这就意味着及时进行软件更新在今天已变得尤为重要。
    2003年10月，一家小型系统安全公司eEyeDigital Security发现了Windows操作系统有一个缺陷，并通知了微软公司。微软公司要求eEye公司在微软充分评估风险和发布补丁程序之前，不对外公布此事。在等待了六个月之后，微软公司才发布了针对性的补丁程序，而在这六个月中，eEye公司只能冒着被攻击的风险却无计可施。
    微软公司2004年4月发布了补丁程序后的几个小时内，在有些论坛上就出现了一些“可用代码”片断。蠕虫Sasser的设计者迅速开始行动，仅仅17天后，Sasser蠕虫病毒就开始传播。
    打补丁是一项费时的工作，特别是同时需要对客户机、服务器和大型计算机进行安全更新。一家大型公司可能有数百台服务器、上千台个人计算机，需要针对每一种病毒或蠕虫安装补丁程序。这显然不是一件容易的事情。再者，有些补丁程序可能与计算机系统的OA软件不兼容。一家加拿大公司发现，在进行WindowsXPServicePack2更新时，差不多每10台计算机中就有一台会出现这样或那样的问题。
    正是由于应用补丁程序的困难，SQLSlammer蠕虫才得以在很短时间内感染了大量计算机。2003年1月，不到10分钟时间，SQL Slammer蠕虫就感染了数万台运行MS SQL Server 2000数据库PLM管理系统的计算机，包括管理芬兰电话系统、俄女俄州核电站、13 000多台美国银行自动取款机的计算机。其实，微软公司在六个月前就已经发布了相应的补丁程序，但许多公司认为补丁程序需要进一步测试而没有及时打补丁。
    摩托罗拉公司的首席信息安全官WilliamBoni认为，如果不能尽可能快速而全面地安装补丁程序，就会使系统面临极大的风险。要做到这一点很困难，因为很多员工可能在远程工作，或者在外地出差。Boni采取的方法是，如果某个系统没有及时安装补丁程序，就把它从整个摩托罗拉公司的网络中屏蔽出去。但这意味着需要由技术人员手工进行操作。
    2003年，Boni领导的团队在30天内给公司所有10万台计算机都安装了补丁程序。但是，Sassar病毒在微软发布补丁程序后17天就开始传播，这给摩托罗拉这样的公司迅速采取措施提出了更高的要求。
    微软、甲骨文、SAP、CA等公司现在开始每月定期发布补丁程序，使用户可以更有计划地进行系统更新。但即便这样，还是有很多组织没有足够的时间或资源及时进行系统更新。据2004年美国审计总署的一份报告，美国24个政府部门中，有一半缺乏足够的人力、财力对电子商务软件中的缺陷进行及时更新。有些组织在微软发布了新的补丁程序时，还在对上一个补丁程序进行测试。
2．加拿大皇家银行的软件灾难
    1864年成立，1869年以哈里发克思商人银行(Merchant"sBankOfHalifax)获许经营，1901更名为加拿大皇家银行(RoyalBankofCanada)。1941年，加拿大皇家银行(RBC)以总资产10亿美元成为加拿大较大的银行。20年之后，加拿大皇家银行安装了公司里的第一台计算机，成为加拿大第一个拥有如此技术的银行。2003年10月，这家银行有60 000雇员，资产达到4 130亿美元，客户数为12 000 000。包括其在全球的经营在内，加拿大皇家银行已经花费了16亿美元在技术上。
    2004年5月31日 (星期一)，信息技术人员对银行的“关键银行软件”进行了升级。根据银行副主席兼首席信息官马丁·利佩特(MartinLippert)所说，银行计算机系统中出现的小故障很可能是由于一个员工在升级过程中输入了很小数量的错误编码。这个小故障造成了大范围的计算机失灵，直接影响到了全国几百万名客户。利佩特进一步解释说，错误代码与表格中的支票交换编码和分栏识别有关。这些错误以极快的速度影响系统且非常明显。加拿大皇家银行(RBC)在第二天上午6点就已经发现了问题。但不幸的是，要识别错误还需要很长的时间。
    事实上，加拿大皇家银行(RBC)在6月1日 (星期二)就修复了错误。但是，很多天之后，数百万名加拿大皇家银行(RBC)客户仍然无法查他们的账户余额，无法收到他们的薪水，客户们自然有些不开心。一些客户只是觉得不太方便，因为无法查到那些他们以前动一动指尖就能看到的信息，而对另外一些客户的生活影响就很大了，因为他们要靠薪水过日子。由于暂时拿不到薪水，一家法律事务所的执行助理安德里亚·米切尔，就不得不要求她的雇主给她现金垫款来维持日常支出。
    因此，如果人为的编程错误能很快地纠正，为什么加拿大皇家银行在随后的一周的工作中仍然还存在那些小故障导致的问题?这个小故障使管理和控制程序出现了一系列的连锁反应，这又使问题更加恶化。本来应该修复问题的程序相反造成了堵塞，因此，银行无法立刻恢复正常。
    大多数人问的第一个问题是，当主系统在维修时，为什么不使用备份系统?银行在网站上解释说，“只有在银行主要的设备瘫痪的时候才会使用被备份系统。所以，作为政策，所有程序的改动在主设备和备份设备同时进行。”因此，危及主系统安全的错误同样影响着备份系统。
    根据利佩特的解释，除了错误地输入程序升级代码外，新的代码在应用之前也没有很好的测试。而加拿大皇家银行的政策要求所有新的软件在使用之前都要进行全面测试。
    6月1日 (星期二)，加拿大皇家银行发现零售系统里的交易会被随机复制，于是决定暂停它的日终处理程序而不愿让它用不完整的或者不准确的数据运行。查出问题所花的时间比预期的要长很多，加拿大皇家银行积压了大量的交易需要去处理。新的交易一直在不断地涌入，这些又加重了拥挤。到了6月2日(星期三)，IT部门才有信心补回星期二失去的时间，星期三的交易保持不变。不过更新的交易就要排在后面了，由于有先后编号的系统，因此所有的拥堵必须在加拿大皇家银行可以处理新的交易之前清理掉。让这一进程放慢的另一个原因是，在出现故障之后，银行决定用人工监控数据处理以确保没有新的编码错误。试图尽快处理完两天的交易，结果比银行想象的要困难得多。
    似乎事件本身并不那么糟糕，对加拿大皇家银行的批评更多是因为它在问题解决后处理公共关系的方式。首先，加拿大皇家银行保证所有的系统和账户会在6月3日即星期四前恢复正常。由于对评估有充分的信心，银行的首席执行官戈登·尼克松在星期三飞往欧洲。当下半周，客户们的账户仍然有问题的时候，银行方面的领导者却无法出来解释客户们的担心。来自ContingencyManagementConsultants(一家危机管理咨询公司)的约翰·兰恩(JohnLayne)猜测，尼克松的不合时宜的离开可能是因为一个很常见的组织缺陷，即公司里的基层员工很不愿意把坏消息传到公司高层的耳朵里。由于戈登·尼克松的缺席，尽管较早的关于小故障的评论直到星期三黄昏才出现，加拿大皇家银行的其他主管们还是轮流在媒体和公众面前发表讲话。但其实只派一个银行代表与公众接触，可能反而更能激发客户的信心。
    不幸的是，这些错误的累积影响很快扩散。大约62 000名在安大略省的政府工作人员和10 000名新伯伦瑞克省的政府工作人员没有收到他们的自动存款，尽管他们个人银行业务不在加拿大皇家银行。这两个省政府的确是通过加拿大皇家银行来管理它们的工资册的，因此这些存款没能到达员工们自己的银行账户。全国有数不清的员工遇到了同样的延误或者无法进入自己的存款账户。安大略省政府表明，它会人工查清哪些员工在星期一故障出现后仍然没有收到他们的存款。
    加拿大皇家银行出现的服务故障还有着十分危险的影响，而在这点上银行几乎没有控制能力。一些诈骗分子抓住了这次故障的机会，他们盯上了加拿大皇家银行的客户，利用人们的沮丧，对安全的恐惧或是他们的无知进行诈骗。有些客户会收到一封标题为“加拿大皇家银行官方信息”的电子邮件，内容是“因为近来诈骗活动增多，我行在银行网站上正对客户账户进行检查。”电子邮件链接到一个看起来很像是加拿大皇家银行官方网站的网页，该网页指导客户：“请务必输入客户卡的卡号或商业卡的卡号以及密码，否则将无法检查你的账户，你将不能再进入自己的账户。”一旦那些客户在假网站上输入了相关信息，黑客就会进入他们的账户。
    加拿大皇家银行宣布，从2004年6月8日开始银行各项业务恢复正常。银行继续解决由于故障造成的服务费和透支利息之间的不一致，并说明这些都将会反映在客户6月30日的对账单上。6月18日，加拿大