奇怪DNS故障之终极解

　　DNS是域名系统(DomainNameSystem)的缩写，最早于1983年由保罗•莫卡派乔斯（PaulMockapetris）发明。域名系统(DNS)是用于在TCP/IP网络中命名计算机和网络服务的系统，该系统将这些计算机和网络服务组织到域的层次结构中。

　　路由器设置网址打不开DNS是域名系统(DomainNameSystem)的缩写，最早于1983年由保罗•莫卡派乔斯（PaulMockapetris）发明。域名系统(DNS)是用于在TCP/IP网络中命名计算机和网络服务的系统，该系统将这些计算机和网络服务组织到域的层次结构中。DNS命名通过用户的友好名称查找计算机和服务。当用户在应用程序中输入DNS名称时，DNS服务可以将此名称解析为与此名称相关的其他信息，如IP地址等。

　　DNS服务作为企业中非常重要的角色，承担着企业的重要任务。越来越多的企业开始在自己的企业部署内部DNS服务器。但是，随着网络规模和网络流量的增长，DNS也随之出现了各种奇怪的故障。笔者之前就遇到一起奇怪的DNS故障。为了解决这个故障，前后经过多次的，最后终于“”这台不“听话”的DNS服务器。

　　本地DNS服务器DNS01.contoso.net，该DNS服务器是台DC（活动目录集成DNS）。以前从中国移动接入互联网，后来因为移动DNS服务器出现一次问题，本地的这台DNS服务器出现无析外部地址的情况。后改为中国电信的DNS解析，依然无法很好的进行外部网站解析，具体问题表现为：

　　其次：怀疑是缓存的问题，就使用ipconfig/flushDNS命令对该服务器的作为客户机的身份的缓存清除一下。然后使用DNSCMD/clearcache命令清除了该DNS服务器本身的缓存。命令不行，就用DNS控制台里的清除缓存，重新加载等办法，甚至重启服务器。结果，发现问题依旧。DNS日志里也没有发现与外部服务器解析相关的记录。此时同时想到了DNS缓存是不是中毒了，于是通过命令，逐条检查缓存中的缓存记录。发现缓存记录都是正常的，并为出现病毒的迹象，故此排除缓存病毒问题。

　　第三：发现服务器网卡是千兆自适应网卡，交换机也是千兆的自适应口，而网线使用的是超五类的线，怀疑：两个千兆自适应口因为通过100M的超五类非屏蔽线时，总把超五类的线当成1000M使用，由此引发双方通过网卡超频这段超五类的非屏蔽网线（因为手头一时没有六类线），就在服务器上和交换机上都将网卡速度降为100M。发现问题依旧。

　　第四：又怀疑是网络延迟造成。于是使用nslookup命令中的settimeout=5的方式增加了nslookup的查询的响应时间。结果发现查询结果又是5秒超时（nslookup程序默认是2秒超时）。于是我又把时间加到10秒，又出现10秒超时。就是说问题根本使用增加查询时间，都是超时。

　　其一是网络中服务器与核心交换机之间的接口均为1000M接口，而连接线缆采用的是超五类非屏蔽双绞线，于是，专门购买了一根7米的六类双绞线，更换原来的超五类非屏蔽线，更换之后，发现变化不大。由此排除因为网线超频导致的DNS查询延迟问题。

　　其二是因为网络中存在大量的包，导致数据碰撞几率增加。而网络中的大量包一般是交换机或由器的问题所致。就再检查交换机或由器的配置，发现由器上采用了热备的方式将两台Cisco由器连接。并且网线与热备不对应。怀疑是网线的引起，后来在下班之后，将网线的复位为原来初始化的，发现DNS查询稍微有改善。但解析失败依然存在。由此排除因为网线和交换机的配置问题引发。

　　其三，考虑到防火墙上的端口是否正常了DNS服务需要的UDP53和TCP53端口，因为只一个TCP或者UDP的端口，也会出现DNS查询延迟故障。于是检查防火墙配置，发现防火墙上正确的了相对应的端口。那么排除防火墙的设置故障。

　　首先从服务器上收集了服务器的配置状况MPS报告（MPSRPT_NETWORK,MPSreport下载地址http://www.microsoft.com/downloads/details.aspx?milyid=cebf3c7c-7ca5-408f-88b7-f9c79b7306c0&displaylang=en），检查了MPS报告里的各类日志文件，DCDIAG没有任何报错。再检查DNS服务器日志，在最新的DNS服务器日志里，我确实发现了很多和错误日志，但是经过仔细研究，认为它们跟本问题不相干（自2010以来，类似的错误就很少报告）。此外，考虑到这个是外部网址的解析问题，内部没问题，所以可以忽略这些错误跟日志。从其他的日志里，也没有发现跟这个问题可能相关的错误。

　　但是，当将客户机的DNS指定为内部服务器10.10.1.5时，发现当您在解析www.tudou.com，www.chinaren.com，www.sohu.com等网站时就出现超时。尝试去通过以下步骤去比对哪一环节造成延迟：

　　在DNS服务器10.10.1.5的抓包中，我尝试寻找这个对应的来自于10.20.2.5的DNS请求，看DNS服务器是如何将这个DNS请求转发到电信服务器61.134.1.4。但是在201012:23:52.823093000和201012:24:03.790867000这个时间段里，我没有看到自客户机10.20.2.5发来的包含www.sohu.com的DNS请求。与这个时间段接近的这么一个DNS请求是发生在Jan13,201012:23:47.056713000。这一点，我觉得很奇怪，我重新检查了其他失败的请求，也发现了类似的问题。所以我怀疑，DNS服务器和这个客户机的系统时间没有同步。

　　然后我又检查了刚刚抓过来的最后一次抓包和nslookup的调试日志，我发现直接使用电信DNS服务器时，都能正常解析。但当把DNS服务器修改为内部服务器10.10.1.5时，就发现很多的超时了。然后我又检查了抓包，同样比较客户机抓包和服务器抓包，可以发现两者之间有比较明显的时间差。次外，还有以下发现：

　　然后检查相同抓包，来自DNS服务器的回复是Jan13,201014:34:21.175179000，结果是解析失败，错误代码还是Serveilure(2)。这里请求和回复之间的间隔是5秒钟，这正是DNS服务器默认的超时间隔。

　　这时，发现已经只有一种情况，就是负载过大成为故障引发原因。于是在该集团内部的DNS服务器做了调整，把最大的子机场（该集团的一个子单位）的流量全部指向正常的DNS服务器（192.168.1.9），问题果然解决。

　　但是正当我们准备举杯欢庆的时候，问题又出现了。正常的DNS服务器（192.168.1.9）在正常工作了一个周之后又发生了与之前第一台DNS相同的故障表现。于是，再次对曾经正常的DNS服务器（192.168.1.9）进行抓包，发现：这台DNS服务器又出现了跟之前那个DNS服务器相同的问题。就是单位时间内DNS服务器收到数量巨大的查询包，而某些数据包无法及时的转发成功。考虑到两台DNS服务器在大的流量增加时都会出现相同的问题，立即就考虑是不是服务器性能以及流量的问题。于是检查两台DNS服务器，发现两台DNS服务器都是IBM早期的服务器，性能并不高，内存也小，再加上安装的WindowsServer2003网络操作系统，而WindowsServer2003操作系统DNS的处理转发能力都不及WindowsServer2008，尤其WindowsServer2008系统的DNS功能在背景区域加载和DNS转发性能上的改进，都会大大增加DNS的转发效率。并且考虑到该集团还有Wins服务器，可以通过WindowsServer2008DNS中的GlobalNames区域功能，可以将原来的Wins与DNS服务器合并，解决单标签访问问题。于是想到了下列解决方法。

　　因为考虑到在真实的网络服务器上直接做调试和修改，可能会影响网络的正常运行。于是，先通过微软的SCVM2007（虚拟化技术）中的P2V的技术，将真实的物理服务器全部虚拟成一台台虚拟的服务器，总共虚拟了8台。然后在虚拟的网络中做压力测试。通过虚拟的网络压力测试之后，发现确实存在以上的问题。于是进行方法三。