在Linux下面,对于海量连接并且每个连接在大部分时间里面都是不活跃的情况下,我们使用Epoll来解决C10K[C10M]问题。
1.如何使用Epoll:man Epoll。即为三个系统调用。
2.在服务器拥有多个CPU的情况下,我们需要多线程或者多进程来帮助我们提高程序的性能,所以就需要一个主线程和一些工作线程,我们可以在每个线程/进程里面弄一个epoll实例,来监控客户的链接[有两种情况]:
① 在主线程/进程里面接受客户的链接,并且把链接分发到工作线程/进程里面。
② 在工作线程/进程里面对同一个监听套接字进行监控。
上面两种模型:第一种主线程/进程会一直阻塞在accept操作上,在高并发的情况下,客户端还是会出现重连[backlog队列已满],或者延迟[accept阻塞]。第二种对同一个监听套接字进行监控,当一个连接进来的时候,会出现惊群现象,在内核2.6以后,accept变成原子操作,但是epoll还是会出现惊群现象:有1-N个进程/线程会被唤醒,但是只有1个进程/线程能成功accept,其他线程/进程又投入睡眠,这样会造成性能的损失
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <netinet/in.h>
#include <sys/socket.h>
#include <fcntl.h>
#include <string.h>
#include <sys/epoll.h>
#include <sys/types.h>
#include <pthread.h>
#include <time.h>
#include <errno.h>
#include <arpa/inet.h>
int numThread = 8;
int listenFD;
void* initWorkerThread(void* arg) {
int epfd = epoll_create1(0);
if (epfd < 0) {
perror("Epoll Create Error");
printf("The thread id is : %ld.\n", pthread_self());
pthread_exit((void*)1);
}
struct epoll_event ev;
memset(&ev, 0, sizeof(ev));
ev.data.fd = listenFD;
ev.events = EPOLLIN | EPOLLET;
int ss = epoll_ctl(epfd, EPOLL_CTL_ADD, listenFD, &ev);
if (ss < 0) {
perror("Epoll Add Error");
pthread_exit((void*)1);
} else {
printf("Start Epoll Wait.\n");
}
struct epoll_event events[128];
while (1) {
int num = epoll_wait(epfd, events, 128, -1);
printf("Thread Wake up.\n");
sleep(5); //如果没有sleep的话,可能看不出来效果
for (int i = 0; i < num; ++i) {
if (events[i].data.fd == listenFD) {
struct sockaddr_in client;
socklen_t len;
int connFD = accept(listenFD, (struct sockaddr*)&client, &len);
if (connFD < 0 && errno == EAGAIN) {
printf("The resource is not exist.\n");
} else {
printf("Thread id is : %ld, The client port is : %d.\n", pthread_self(), ntohs(client.sin_port));
}
}
}
}
return ((void*)0);
}
int main(int argc, char** argv) {
pthread_t threadArr[numThread];
listenFD = socket(AF_INET, SOCK_STREAM, 0);
if (listenFD < 0) {
perror("Socket Error");
}
setSocketNonBlock(listenFD);
struct sockaddr_in server;
memset(&server, 0, sizeof(server));
server.sin_family = AF_INET;
server.sin_port = htons(4321);
server.sin_addr.s_addr = htonl(INADDR_ANY);
int ss = bind(listenFD, (struct sockaddr*)&server, sizeof(server));
if (ss < 0) {
perror("Bind Error");
}
ss = listen(listenFD, 5);
if (ss < 0) {
perror("Listen Error");
}
for (int i = 0; i < numThread; ++i) {
ss = pthread_create(&threadArr[i], NULL, initWorkerThread, NULL);
printf("The %dth thread id is : %ld.\n", i, threadArr[i]);
if (ss < 0) {
perror("Thread Create Error");
}
}
while (1) {}
return 0;
}
上面代码如果没有sleep,那么可能不会唤醒所有的进程/线程,因为如果有一个线程/进程把连接accept掉了,那么后面还没有唤醒的进程/线程还是会阻塞在epoll_wait调用。
上面的代码会得到如下的结果:
可以看到所有的线程都会被唤醒,但是只有一个会得到这个连接。所以我们必须要面对惊群这个问题。
1.直接不管惊群。
2.借鉴Nginx:任意时刻,监听套接字只会出现在一个子进程的epoll里面[通过锁来实现]。
3.跟第二条差不多,但是没有主次线程/进程之分,全部的线程/进程都同等对待,但是在任何时刻也只有一个进程/线程的epoll里面会出现监听套接字。