|
|
|
|
移动端

一次集群内无可用HTTP服务问题排查

前端机的负载并不高,于是我们第一时间认为这可能是nginx到tomcat服务器的网络有问题。统计了一下线上日志,出问题的机器集中在某个网段,并且集中在一天之内的某几个时间点,这似乎也进一步印证了我们的猜测。

作者:洛阳沃客来源:智慧企业服务平台|2018-01-19 11:12

技术沙龙 | 邀您于8月25日与国美/AWS/转转三位专家共同探讨小程序电商实战

前一阵子发现服务会有偶发的服务不可用的情况,记录一下这个问题的排查过程。

现象是这样的:每天到了某个时间点,就会出现服务不稳定的情况,偶发接口调不通。

线上业务使用了lvs-nginx-tomcat三层结构,首先查看tomcat监控,没有什么特别异常的情况,响应时间和错误码没发现有什么异常,CPU、IO等等指标也都正常。

再查看nginx上的监控,发现在某个时刻这个服务的5xx报错突增,大概7、8秒之后又恢复了。

继续在nginx服务器上找线索,发现Nginx在那个时间点会出现报错:

  1. 2015/12/24 10:30:38 [error] 13433#0: check time out with peer: 10.79.40.1xx:80 

线上nginx会每秒探测后端所有服务器的某个uri,如果返回的http状态码是200则认为正常,连续3次探测失败则摘除探测失败的服务器,直到探测成功再恢复。

从日志中可以发现nginx在出问题的时间点对于后端所有tomcat的探测请求都出现了问题,导致摘除了所有后端服务器,在这段时间里请求会报502异常。

从nginx上的日志可以看到探测请求没有返回,那么请求实际发到tomcat了没有?线上业务中的探测频率是1s/次,于是到tomcat的访问日志里查找线索,过滤一个nginx对tomcat的所有探测请求:

可用看出从7:00:10-7:00:40左右的探测请求是有丢失的。

前端机的负载并不高,于是我们第一时间认为这可能是nginx到tomcat服务器的网络有问题。统计了一下线上日志,出问题的机器集中在某个网段,并且集中在一天之内的某几个时间点,这似乎也进一步印证了我们的猜测。

但到此为止仅仅是怀疑,为了证明我们的猜测,我们尝试去复现问题。我们在nginx上部署了一个简单的脚本,用curl命令对同样的tomcat发起每秒一次的请求,但结果比较诡异:

监测方式 监测地址 http版本 频率 所在服务器 目的服务器 问题

  1. nginx / 1.0 1s nginx tomcat 有 
  2. curl / 1.0 1s nginx tomcat 无 

这跟我们之前的猜测不一致,没办法,尝试在两端抓包查看网络状况,

tomcat抓包:

nginx抓包:

tomcat服务器在7:00:10已经接收了请求并且回复了ACK,7:00:13 nginx超时主动断开连接,7:00:15时tomcat才返回数据,网络的问题被排除了。

那么接下来的重点就是tomcat本身,在接收问题请求的时候,tomcat服务究竟做了什么?

还是通过简单的脚本,在容易出问题的时间段连续使用jstack打印线程栈,查找出问题时处于RUNNABLE状态的catalina线程,发现这里有一句很可疑:

这个服务用的还是比较古老的tomcat6.0.32,查看源码,可以发现在tomcat对请求header做完解析之后会调用这个函数:

  1. MessageBytes valueMB = headers.getValue("host"); 
  2.   
  3.     // Check host header 
  4.     if (http11 && (valueMB == null)) { 
  5.         error = true
  6.         // 400 - Bad request 
  7.         if (log.isDebugEnabled()) { 
  8.             log.debug(sm.getString("http11processor.request.prepare")+ 
  9.                       " host header missing"); 
  10.         } 
  11.         response.setStatus(400); 
  12.         adapter.log(request, response, 0); 
  13.     } 
  14.   
  15.     parseHost(valueMB); 
  16.       
  17.       
  18.     .... 
  19.  /** 
  20.  * Parse host. 
  21.  */ 
  22. public void parseHost(MessageBytes valueMB) { 
  23.   
  24.     if (valueMB == null || valueMB.isNull()) { 
  25.         // HTTP/1.0 
  26.         // Default is what the socket tells us. Overriden if a host is 
  27.         // found/parsed 
  28.         request.setServerPort(socket.getLocalPort()); 
  29.         InetAddress localAddress = socket.getLocalAddress(); 
  30.         // Setting the socket-related fields. The adapter doesn't know 
  31.         // about socket. 
  32.         request.serverName().setString(localAddress.getHostName()); 
  33.         return
  34.     } 

也就是说,如果request请求的header里没有设置host,那么tomcat会使用自己服务器的hostname作为request对象的host属性。

再对比线上nginx探测的请求和curl发出的请求,可以看出nginx的探测请求确实没有带任何header,而curl请求默认是带了3个header的:

curl:

  1. GET / HTTP/1.0 
  2. Host: localhost:8080 
  3. User-Agent: curl/7.43.0 
  4. Accept: */* 
  5. nginx: 
  6.  
  7. GET / HTTP/1.0 

到这里可以确认,如果请求的header里没有带Host的话就有可能出现问题。找到了hang住的位置,那么接下来的问题就是,为什么这里会hang住?

第一个问题:这个getHostByAddr在做什么?翻出jvm源码,这个函数的定义在

  1. String getHostByAddr(byte[] addr) throws UnknownHostException; 

继续研究getHostByAddr,对应的实现位于jdk/src/solaris/native/java/net/Inet6AddressImpl.c:

  1.  * Class:     java_net_Inet6AddressImpl 
  2.  * Method:    getHostByAddr 
  3.  * Signature: (I)Ljava/lang/String; 
  4.  */ 
  5. JNIEXPORT jstring JNICALL 
  6. Java_java_net_Inet6AddressImpl_getHostByAddr(JNIEnv *env, jobject this,jbyteArray addrArray) { 
  7.     jstring ret = NULL
  8. #ifdef AF_INET6 
  9.     char host[NI_MAXHOST+1]; 
  10.     int error = 0; 
  11.     int len = 0; 
  12.     jbyte caddr[16]; 
  13.   
  14.     if (NET_addrtransAvailable()) { 
  15.         struct sockaddr_in him4; 
  16.         struct sockaddr_in6 him6; 
  17.         struct sockaddr *sa; 
  18.   
  19.         /* 
  20.          * For IPv4 addresses construct a sockaddr_in structure. 
  21.          */ 
  22.         if ((*env)->GetArrayLength(env, addrArray) == 4) { 
  23.             jint addr; 
  24.             (*env)->GetByteArrayRegion(env, addrArray, 0, 4, caddr); 
  25.             addr = ((caddr[0]<<24) & 0xff000000); 
  26.             addr |= ((caddr[1] <<16) & 0xff0000); 
  27.             addr |= ((caddr[2] <<8) & 0xff00); 
  28.             addr |= (caddr[3] & 0xff); 
  29.             memset((void *) &him4, 0, sizeof(him4)); 
  30.             him4.sin_addr.s_addr = (uint32_t) htonl(addr); 
  31.             him4.sin_family = AF_INET; 
  32.             sa = (struct sockaddr *) &him4; 
  33.             len = sizeof(him4); 
  34.         } else { 
  35.             /* 
  36.              * For IPv6 address construct a sockaddr_in6 structure. 
  37.              */ 
  38.             (*env)->GetByteArrayRegion(env, addrArray, 0, 16, caddr); 
  39.             memset((void *) &him6, 0, sizeof(him6)); 
  40.             memcpy((void *)&(him6.sin6_addr), caddr, sizeof(struct in6_addr) ); 
  41.             him6.sin6_family = AF_INET6; 
  42.             sa = (struct sockaddr *) &him6 ; 
  43.             len = sizeof(him6) ; 
  44.         } 
  45.   
  46.         error = (*getnameinfo_ptr)(sa, len, host, NI_MAXHOST, NULL, 0, 
  47.                                    NI_NAMEREQD); 
  48.   
  49.         if (!error) { 
  50.             ret = (*env)->NewStringUTF(env, host); 
  51.         } 
  52.     } 
  53. #endif /* AF_INET6 */ 
  54.   
  55.     if (ret == NULL) { 
  56.         JNU_ThrowByName(env, JNU_JAVANETPKG "UnknownHostException"NULL); 
  57.     } 
  58.   
  59.     return ret; 

getnameinfo_ptr的定义位于jdk/src/solaris/native/java/net/net_util_md.c:

  1. getnameinfo_ptr = (getnameinfo_f) 
  2.         JVM_FindLibraryEntry(RTLD_DEFAULT, "getnameinfo"); 

实际是调用了glibc库函数,man一下getnameinfo

DESCRIPTION

  •        The  getnameinfo()  function is the inverse of getaddrinfo(3): it converts a socket address to a corresponding host and service,
  •        in a protocol-independent manner.  It combines the functionality of gethostbyaddr(3)  and  getservbyport(3),  but  unlike  those
  •        functions, getaddrinfo(3) is reentrant and allows programs to eliminate IPv4-versus-IPv6 dependencies.
  •        The  sa  argument  is  a  pointer to a generic socket address structure (of type sockaddr_in or sockaddr_in6) of size salen that
  •        holds the input IP address and port number.  The arguments host and serv are  pointers  to  caller-allocated  buffers  (of  size
  •        hostlen  and servlen respectively) into which getnameinfo() places null-terminated strings containing the host and service names
  •        respectively.
  •        The caller can specify that no hostname (or no service name) is required by providing a NULL host (or serv) argument or  a  zero
  •        hostlen (or servlen) argument.  However, at least one of hostname or service name must be requested.

结合man page说明和调用的上下文可以推测出这个函数可以通过ip查host,但是是怎么查的呢?继续查找代码,首先要确定操作系统用的glibc版本:

随便在机器上编译一个c程序,使用ldd命令查看它的依赖库路径:

  1. [root@localhost test]# ldd a.out 
  2.     linux-vdso.so.1 =>  (0x00007fff595ff000) 
  3.     libc.so.6 => /lib64/libc.so.6 (0x0000003e60e00000) 
  4.     /lib64/ld-linux-x86-64.so.2 (0x0000003e60600000) 
  5. [root@localhost test]# /lib64/libc.so.6 
  6. GNU C Library stable release version 2.12, by Roland McGrath et al. 
  7. Copyright (C) 2010 Free Software Foundation, Inc. 
  8. This is free software; see the source for copying conditions. 
  9. There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A 
  10. PARTICULAR PURPOSE. 
  11. Compiled by GNU CC version 4.4.7 20120313 (Red Hat 4.4.7-4). 
  12. Compiled on a Linux 2.6.32 system on 2013-11-21. 
  13. Available extensions: 
  14.     The C stubs add-on version 2.1.2. 
  15.     crypt add-on version 2.1 by Michael Glad and others 
  16.     GNU Libidn by Simon Josefsson 
  17.     Native POSIX Threads Library by Ulrich Drepper et al 
  18.     BIND-8.2.3-T5B 
  19.     RT using linux kernel aio 
  20. libc ABIs: UNIQUE IFUNC 
  21. For bug reporting instructions, please see: 
  22. <http://www.gnu.org/software/libc/bugs.html>. 
  23.   
  24. https://www.gnu.org/software/libc/download.html 

去gnu官网下载对应版本的glibc源代码,查看源码,可以看出getnameinfo中调用了gethostbyaddr:

  1.  while (__gethostbyaddr_r ((const void *) &(((const struct sockaddr_in *)sa)->sin_addr), 
  2.                             sizeof(struct in_addr), AF_INET, 
  3.                             &th, tmpbuf, tmpbuflen, 
  4.                             &h, &herrno)) 
  5.     if (herrno == NETDB_INTERNAL && errno == ERANGE) 
  6.       tmpbuf = extend_alloca (tmpbuf, tmpbuflen, 2 * tmpbuflen); 
  7.     else 
  8.       break; 

在gethostbyaddr函数中有这么一段:

  1. switch (af) { 
  2. case AF_INET: 
  3.         (void) sprintf(qbuf, "%u.%u.%u.%u.in-addr.arpa"
  4.                        (uaddr[3] & 0xff), 
  5.                        (uaddr[2] & 0xff), 
  6.                        (uaddr[1] & 0xff), 
  7.                        (uaddr[0] & 0xff)); 
  8.         break; 
  9. case AF_INET6: 
  10.         qp = qbuf; 
  11.         for (n = IN6ADDRSZ - 1; n >= 0; n--) { 
  12.                 qp += SPRINTF((qp, "%x.%x."
  13.                                uaddr[n] & 0xf, 
  14.                                (uaddr[n] >> 4) & 0xf)); 
  15.         } 
  16.         strcpy(qp, "ip6.arpa"); 
  17.         break; 
  18. default
  19.         abort(); 

这里把ip地址按8位翻转之后,加了一个“.in-addr.arpa”后缀,之后就通过通用的函数发出dns query请求,最终会调用res_mkquery,man一下这个函数(man 3 res_mkquery):

  1. switch (af) { 
  2. case AF_INET: 
  3.         (void) sprintf(qbuf, "%u.%u.%u.%u.in-addr.arpa"
  4.                        (uaddr[3] & 0xff), 
  5.                        (uaddr[2] & 0xff), 
  6.                        (uaddr[1] & 0xff), 
  7.                        (uaddr[0] & 0xff)); 
  8.         break; 
  9. case AF_INET6: 
  10.         qp = qbuf; 
  11.         for (n = IN6ADDRSZ - 1; n >= 0; n--) { 
  12.                 qp += SPRINTF((qp, "%x.%x."
  13.                                uaddr[n] & 0xf, 
  14.                                (uaddr[n] >> 4) & 0xf)); 
  15.         } 
  16.         strcpy(qp, "ip6.arpa"); 
  17.         break; 
  18. default
  19.         abort(); 

跟dns请求相关的实现略复杂,这里不再展开。

这里可以走一个小捷径,我们写一个最简单的c程序来查看getnameinfo都大致做了什么事情:

  1. #include <netdb.h> 
  2.  #include <stdio.h> 
  3. int main() { 
  4.     struct sockaddr_in ip; 
  5.     const char *ipstr = "127.0.0.1"
  6.     int err; 
  7.     char host[NI_MAXHOST+1]; 
  8.     if (!inet_aton(ipstr, &ip)) 
  9.         errx(1, "can't parse IP address %s", ipstr); 
  10.     ip.sin_family = AF_INET; 
  11.     printf("noop\n"); 
  12.     err = getnameinfo(&ip,sizeof(ip),host,NI_MAXHOST,NULL,0 ,NI_NAMEREQD); 
  13.     printf("start\n"); 
  14.     err = getnameinfo(&ip,sizeof(ip),host,NI_MAXHOST,NULL,0 ,NI_NAMEREQD); 
  15.     printf("end\n"); 

然后使用strace来跟踪系统调用:

  1. [root@localhost test]# strace ./a.out 
  2. execve("./a.out", ["./a.out"], [/* 26 vars */]) = 0 
  3. brk(0)                                  = 0x17d5000 
  4. mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7ff894dd7000 
  5. access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory) 
  6. open("/etc/ld.so.cache", O_RDONLY)      = 3 
  7. fstat(3, {st_mode=S_IFREG|0644, st_size=59784, ...}) = 0 
  8. mmap(NULL, 59784, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7ff894dc8000 
  9. close(3)                                = 0 
  10. open("/lib64/libc.so.6", O_RDONLY)      = 3 
  11. read(3, "\177ELF\2\1\1\3\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0000\356\341`>\0\0\0"..., 832) = 832 
  12. fstat(3, {st_mode=S_IFREG|0755, st_size=1926800, ...}) = 0 
  13. mmap(0x3e60e00000, 3750152, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 3, 0) = 0x3e60e00000 
  14. mprotect(0x3e60f8b000, 2093056, PROT_NONE) = 0 
  15. mmap(0x3e6118a000, 20480, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 3, 0x18a000) = 0x3e6118a000 
  16. mmap(0x3e6118f000, 18696, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) = 0x3e6118f000 
  17. close(3)                                = 0 
  18. mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7ff894dc7000 
  19. mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7ff894dc6000 
  20. mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7ff894dc5000 
  21. arch_prctl(ARCH_SET_FS, 0x7ff894dc6700) = 0 
  22. mprotect(0x3e6118a000, 16384, PROT_READ) = 0 
  23. mprotect(0x3e6081f000, 4096, PROT_READ) = 0 
  24. munmap(0x7ff894dc8000, 59784)           = 0 
  25. fstat(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 0), ...}) = 0 
  26. mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7ff894dd6000 
  27. write(1, "noop\n", 5noop 
  28. )                   = 5 
  29. socket(PF_FILE, SOCK_STREAM|SOCK_CLOEXEC|SOCK_NONBLOCK, 0) = 3 
  30. connect(3, {sa_family=AF_FILE, path="/var/run/nscd/socket"}, 110) = -1 ENOENT (No such file or directory) 
  31. close(3)                                = 0 
  32. socket(PF_FILE, SOCK_STREAM|SOCK_CLOEXEC|SOCK_NONBLOCK, 0) = 3 
  33. connect(3, {sa_family=AF_FILE, path="/var/run/nscd/socket"}, 110) = -1 ENOENT (No such file or directory) 
  34. close(3)                                = 0 
  35. brk(0)                                  = 0x17d5000 
  36. brk(0x17f6000)                          = 0x17f6000 
  37. open("/etc/nsswitch.conf", O_RDONLY)    = 3 
  38. fstat(3, {st_mode=S_IFREG|0644, st_size=1688, ...}) = 0 
  39. mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7ff894dd5000 
  40. read(3, "#\n# /etc/nsswitch.conf\n#\n# An ex"..., 4096) = 1688 
  41. read(3, "", 4096)                       = 0 
  42. close(3)                                = 0 
  43. munmap(0x7ff894dd5000, 4096)            = 0 
  44. open("/etc/ld.so.cache", O_RDONLY)      = 3 
  45. fstat(3, {st_mode=S_IFREG|0644, st_size=59784, ...}) = 0 
  46. mmap(NULL, 59784, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7ff894db6000 
  47. close(3)                                = 0 
  48. open("/lib64/libnss_files.so.2", O_RDONLY) = 3 
  49. read(3, "\177ELF\2\1\1\0\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0\360!\0\0\0\0\0\0"..., 832) = 832 
  50. fstat(3, {st_mode=S_IFREG|0755, st_size=65928, ...}) = 0 
  51. mmap(NULL, 2151824, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 3, 0) = 0x7ff894ba8000 
  52. mprotect(0x7ff894bb4000, 2097152, PROT_NONE) = 0 
  53. mmap(0x7ff894db4000, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 3, 0xc000) = 0x7ff894db4000 
  54. close(3)                                = 0 
  55. mprotect(0x7ff894db4000, 4096, PROT_READ) = 0 
  56. munmap(0x7ff894db6000, 59784)           = 0 
  57. getpid()                                = 28054 
  58. open("/etc/resolv.conf", O_RDONLY)      = 3 
  59. fstat(3, {st_mode=S_IFREG|0644, st_size=50, ...}) = 0 
  60. mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7ff894dd5000 
  61. read(3, "nameserver 172.16.xx.xx\nnamese"..., 4096) = 50 
  62. read(3, "", 4096)                       = 0 
  63. close(3)                                = 0 
  64. munmap(0x7ff894dd5000, 4096)            = 0 
  65. uname({sys="Linux", node="localhost.localdomain", ...}) = 0 
  66. open("/etc/host.conf", O_RDONLY)        = 3 
  67. fstat(3, {st_mode=S_IFREG|0644, st_size=9, ...}) = 0 
  68. mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7ff894dd5000 
  69. read(3, "multi on\n", 4096)             = 9 
  70. read(3, "", 4096)                       = 0 
  71. close(3)                                = 0 
  72. munmap(0x7ff894dd5000, 4096)            = 0 
  73. open("/etc/hosts", O_RDONLY|O_CLOEXEC)  = 3 
  74. fcntl(3, F_GETFD)                       = 0x1 (flags FD_CLOEXEC) 
  75. fstat(3, {st_mode=S_IFREG|0644, st_size=400, ...}) = 0 
  76. mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7ff894dd5000 
  77. read(3, "127.0.0.1   localhost localhost."..., 4096) = 400 
  78. read(3, "", 4096)                       = 0 
  79. close(3)                                = 0 
  80. munmap(0x7ff894dd5000, 4096)            = 0 
  81. open("/etc/ld.so.cache", O_RDONLY)      = 3 
  82. fstat(3, {st_mode=S_IFREG|0644, st_size=59784, ...}) = 0 
  83. mmap(NULL, 59784, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7ff894db6000 
  84. close(3)                                = 0 
  85. open("/lib64/libnss_dns.so.2", O_RDONLY) = 3 
  86. read(3, "\177ELF\2\1\1\0\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0\0\20\0\0\0\0\0\0"..., 832) = 832 
  87. fstat(3, {st_mode=S_IFREG|0755, st_size=27424, ...}) = 0 
  88. mmap(NULL, 2117880, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 3, 0) = 0x7ff8949a2000 
  89. mprotect(0x7ff8949a7000, 2093056, PROT_NONE) = 0 
  90. mmap(0x7ff894ba6000, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 3, 0x4000) = 0x7ff894ba6000 
  91. close(3)                                = 0 
  92. open("/lib64/libresolv.so.2", O_RDONLY) = 3 
  93. read(3, "\177ELF\2\1\1\0\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\00009\240b>\0\0\0"..., 832) = 832 
  94. fstat(3, {st_mode=S_IFREG|0755, st_size=113952, ...}) = 0 
  95. mmap(0x3e62a00000, 2202248, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 3, 0) = 0x3e62a00000 
  96. mprotect(0x3e62a16000, 2097152, PROT_NONE) = 0 
  97. mmap(0x3e62c16000, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 3, 0x16000) = 0x3e62c16000 
  98. mmap(0x3e62c18000, 6792, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) = 0x3e62c18000 
  99. close(3)                                = 0 
  100. mprotect(0x3e62c16000, 4096, PROT_READ) = 0 
  101. mprotect(0x7ff894ba6000, 4096, PROT_READ) = 0 
  102. munmap(0x7ff894db6000, 59784)           = 0 
  103. socket(PF_INET, SOCK_DGRAM|SOCK_NONBLOCK, IPPROTO_IP) = 3 
  104. connect(3, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("172.16.xx.xx")}, 16) = 0 
  105. poll([{fd=3, events=POLLOUT}], 1, 0)    = 1 ([{fd=3, revents=POLLOUT}]) 
  106. sendto(3, "\36\247\1\0\0\1\0\0\0\0\0\0\0010\0010\0010\0010\7in-addr\4arp"..., 38, MSG_NOSIGNAL, NULL, 0) = 38 
  107. poll([{fd=3, events=POLLIN}], 1, 5000)  = 1 ([{fd=3, revents=POLLIN}]) 
  108. ioctl(3, FIONREAD, [73])                = 0 
  109. recvfrom(3, "\36\247\205\203\0\1\0\0\0\1\0\0\0010\0010\0010\0010\7in-addr\4arp"..., 1024, 0, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("172.16.xx.xx")}, [16]) = 73 
  110. close(3)                                = 0 
  111. write(1, "start\n", 6start 
  112. )                  = 6 
  113. open("/etc/hosts", O_RDONLY|O_CLOEXEC)  = 3 
  114. fstat(3, {st_mode=S_IFREG|0644, st_size=400, ...}) = 0 
  115. mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7ff894dd5000 
  116. read(3, "127.0.0.1   localhost localhost."..., 4096) = 400 
  117. read(3, "", 4096)                       = 0 
  118. close(3)                                = 0 
  119. munmap(0x7ff894dd5000, 4096)            = 0 
  120. socket(PF_INET, SOCK_DGRAM|SOCK_NONBLOCK, IPPROTO_IP) = 3 
  121. connect(3, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("172.16.xx.xx")}, 16) = 0 
  122. poll([{fd=3, events=POLLOUT}], 1, 0)    = 1 ([{fd=3, revents=POLLOUT}]) 
  123. sendto(3, "~\223\1\0\0\1\0\0\0\0\0\0\0010\0010\0010\0010\7in-addr\4arp"..., 38, MSG_NOSIGNAL, NULL, 0) = 38 
  124. poll([{fd=3, events=POLLIN}], 1, 5000)  = 1 ([{fd=3, revents=POLLIN}]) 
  125. ioctl(3, FIONREAD, [73])                = 0 
  126. recvfrom(3, "~\223\205\203\0\1\0\0\0\1\0\0\0010\0010\0010\0010\7in-addr\4arp"..., 1024, 0, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("172.16.xx.xx")}, [16]) = 73 
  127. close(3)                                = 0 
  128. write(1, "end\n", 4end 
  129. )                    = 4 
  130. exit_group(4)                           = ? 

可以看出,首次查询时会读取/etc/nsswitch.conf,/etc/resolv.conf,后面的请求先读了/etc/hosts,找不到就向dns服务器发送了一个udp查询请求(SOCK_DGRAM),之后使用了poll等待返回结果,有返回的话使用recvfrom接收结果。

为了验证看代码得到的结果再次抓包,不过这次只过滤53端口的数据包(dns服务的端口为53):

  1. [root@79-40-151-yf-core logs]# tcpdump -i eth1  port 53 
  2. tcpdump: verbose output suppressed, use -v or -vv for full protocol decode 
  3. listening on eth1, link-type EN10MB (Ethernet), capture size 65535 bytes 
  4. 18:26:42.135322 IP 10.79.40.xx.35611 > 10.71.16.xx.domain: 59106+ PTR? xx.40.79.10.in-addr.arpa. (43) 
  5. 18:26:42.135348 IP 10.79.40.xx.35611 > 172.16.xx.xx.domain: 59106+ PTR? xx.40.79.10.in-addr.arpa. (43) 
  6. 18:26:42.136024 IP 172.16.xx.xx.domain > 10.79.40.xx.35611: 59106 NXDomain 0/0/0 (43) 
  7. 18:26:42.136258 IP 10.79.40.xx.43068 > 10.71.16.xx.domain: 32990+ PTR? xx.16.71.10.in-addr.arpa. (43) 
  8. 18:26:42.136276 IP 10.79.40.xx.43068 > 172.16.xx.xx.domain: 32990+ PTR? xx.16.71.10.in-addr.arpa. (43) 

跟前面推测的一样,这里确实在向dns服务器发送这种后缀是.in-addr.arpa的请求。

可用在wiki上找到这类查询的详细描述:https://en.wikipedia.org/wiki/Reverse_DNS_lookup

最后一个问题是这个查询会超时吗?超时时间是多少?根据man page结果,dns查询的超时是5秒:

  1. $ man resolv.conf 
  2. ... 
  3. timeout:n 
  4.                      sets the amount of time the resolver will wait for a response from a remote name server before retrying the query via a different name server.  Measured 
  5.                      in seconds, the default is RES_TIMEOUT (currently 5, see <resolv.h>).  The value for this option is silently capped to 30. 
  6. ... 

跟抓包结果一致,并且注意到strace中poll的最后一个参数是5000,和默认的超时时间一致。

我们可以在/etc/resolv.conf里增加关于超时时间的配置:

  1. options timeout:1 

再用strace试一下,果然poll的参数变成1000了。

  • 但是线上机器配置了dnsmasq缓存,为什么缓存没有生效?

配置了dnsmasq后再次使用tcpdump,可用看到lo网卡和eth1网卡都有查询请求,由于反向dns查询不到主机名,dnsmasq无法缓存结果,只能每次都把请求转发给实际dns。

  • 线上除了这个网段的机器还有其他机器,为什么其他机器没有问题?

没出问题的机器里/etc/hosts配置了本机ip对应的hostname,在hosts文件中查询到了就不会再去搜索dns。

  • DNS解析在那个时间为什么会消耗5秒?

由于udp协议本身传输不可靠没有重发的机制,在网络异常的时候只能默默的等待超时,具体网络的问题这里就不展开了。

  • 如何解决这个问题?
  1. 首先第一反应是想到升级tomcat版本,查看新版tomcat代码,有问题的代码果然没有了,线上服务升级到tomcat8后也恢复了正常。
  2. 如果不能升级tomcat,可以在nginx的探测增加host header,避免前端机反向查询请求。
  3. 如果两者都不能做,那么可以在本机hosts中配置对应本机ip的hostname,可以避免通过dns服务器查询。

【编辑推荐】

  1. 用HTTP事件驱动一切应用程序
  2. Nginx反向代理获取真实IP问题
  3. 解决Plesk面板Nginx不能自动启动的问题
  4. 使用Java内置的Http Server服务器构建Web应用
  5. HTTP服务器状态代码解析
【责任编辑:武晓燕 TEL:(010)68476606】


点赞 0
分享:
大家都在看
猜你喜欢
24H热文
一周话题
本月最赞

视频课程+更多

热门职位+更多

读 书 +更多

Fedora Core 5 Linux系统安装与管理

以Linux为代表的自由软件及其稳定性,逐渐在全世界崭露头角且备受重视。由于可以支持多种网络环境,因此在采用Linux系统之前,必须熟悉各种...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊