远程服务器内存溢出

原因

• 远程服务器内存溢出

引起

• 远程服务器硬盘读写占满
• 远程服务器CPU使用率占满
• 远程服务器处于无响应状态

连锁反应

• 主服务器内存溢出
• 主服务器自动kill进程导致关键服务下线

一开始以为只是主服务器的问题，清空僵尸进程后短暂恢复上线，但是隔一段时间又被僵尸进程占满内存，导致服务进程又被强制kill。

后来分析发现原来是因为主服务器的很多定时任务依赖连接远程服务器的数据库，但是因为创建的任务一直无法连接远程数据库导致进程挂起无法释放，主服务器又不断的创建新定时任务，大量的挂起僵尸进程逐渐将主服务器内存占满，导致主服务器内存溢出，随后触发了主服务器的自动kill机制强制释放内存。

因为远程服务器内存和CPU均被占满，导致连ssh都无法连上，最后只能依靠控制面板重启服务器。

总结

考虑为所有服务器增加内存监控