服务器基本故障和排查方法

前言

服务器运维工作中遇到的问题形形色色，无论何种故障，都需要结合具体情况，预防为主的思想，熟悉各种工具和技术手段，养成良好的日志分析习惯，同时建立完善的应急预案和备份恢复策略，才能有效地应对和解决各类故障问题。服务器出现问题时，的确可能会引发一系列连锁反应，导致业务中断。

1. 服务器无法启动

• 排查方法：

• • 检查电源是否正常供应，电源线、电源模块是否损坏。
  • 确认服务器硬件是否有明显的物理损坏，如内存、硬盘、CPU是否插好。
  • 尝试进入BIOS查看系统是否识别到硬件，或者尝试通过安全模式启动排除软件问题。
  • 查看服务器的错误灯或通过ILO（Integrated Lights-Out，集成式远程管理）等远程管理工具查看错误信息。

2. 系统崩溃或蓝屏

• 排查方法：

• • 查看系统日志或错误提示，了解崩溃原因。
  • 更新系统补丁，检查驱动程序是否兼容或过期。
  • 检测内存和硬盘是否存在故障，运行内存诊断工具和磁盘检查工具（如chkdsk）。
  • 检查服务器散热情况，过热也可能导致系统不稳定。

3. 网络不通

• 排查方法：

• • 检查网线是否松动或损坏，确认交换机端口状态。
  • 查看服务器网卡指示灯是否正常，尝试重启网卡服务或重置网卡配置。
  • 在服务器内部检查网络配置，包括IP地址、子网掩码、网关、DNS是否正确。
  • 运行网络诊断工具，如ping、traceroute、nslookup等，判断网络通路。

4. 服务或应用程序无法启动

• 排查方法：

• • 检查服务或应用程序的日志文件，查找错误信息。
  • 确保依赖的服务和组件已启动并运行正常。
  • 检查系统资源是否耗尽（如内存、磁盘空间、CPU使用率过高）。
  • 如果是数据库服务，检查数据库连接、存储空间和事务日志状态。

5. 性能下降

• 排查方法：

• • 使用性能监视工具（如Windows的任务管理器、Linux的top或htop命令）监测CPU、内存、磁盘IO等资源使用情况。
  • 检查是否存在资源竞争或死锁现象。
  • 分析系统负载趋势，确定是否存在周期性的资源消耗高峰。
  • 对数据库等关键服务进行优化，例如索引重建、查询优化等。

6. 安全问题

• 排查方法：

• • 扫描病毒和恶意软件，修复可能存在的安全漏洞。
  • 检查防火墙和安全策略设置，确保没有误封或者配置不当。
  • 及时查看系统警告和入侵检测系统日志，寻找可疑活动。

7. 文件系统错误或磁盘故障

• 排查方法：

• • 运行磁盘检查工具，例如Windows的CHKDSK命令或Linux的fsck命令。
  • 监控SMART（Self-Monitoring, Analysis and Reporting Technology）状态，预测硬盘健康状况。
  • 若RAID阵列，检查RAID控制器的状态和日志，确认磁盘是否降级或故障。
  • 如有必要，更换故障硬盘并重建RAID。

8. 用户访问速度慢或延迟高

• 排查方法：

• • 测试服务器与客户端之间的网络延迟，使用如traceroute或mtr工具找出网络瓶颈。
  • 检查服务器带宽使用情况，是否已饱和。
  • 分析Web服务器、应用服务器或数据库服务器的响应时间，定位性能瓶颈。
  • 对CDN、缓存策略进行优化，减轻服务器压力。

9. 数据丢失或不一致

• 排查方法：

• • 检查备份策略和备份完整性，尝试从备份恢复数据。
  • 对于数据库，检查事务日志，分析数据变更历史。
  • 核实同步复制或镜像是否正常运作，如有问题需修复并同步数据。

10. 服务器频繁重启或死机

• 排查方法：

• • 检查服务器硬件告警信息，如温度过高、电源故障等。
  • 分析系统日志，查看是否有异常进程导致系统崩溃。
  • 验证BIOS设置是否正确，禁用不必要的开机启动项。
  • 如果服务器配置了Watchdog（看门狗）服务，检查是否因为某个服务长时间无响应导致Watchdog重启服务器。

11. 服务账户权限问题

• 排查方法：

• • 检查服务运行账户权限是否足够，确保服务所需目录、文件的读写权限正确。
  • 查阅系统事件查看器或日志文件，查看是否有权限拒绝或登录失败的记录。
  • 根据应用或服务文档，确保服务配置的账户、密码正确无误。

12. 内存泄漏

• 排查方法：

• • 使用内存分析工具（如Windows的任务管理器或Linux的top、ps、pmap等命令）监测内存使用情况。
  • 对应用程序进行监控，查看是否存在长时间不释放的内存块。
  • 对程序代码进行审查，查找可能导致内存泄漏的代码片段，例如忘记释放资源、无限递归等问题。

13. SSH或远程桌面无法连接

• 排查方法：

• • 检查服务器的远程访问服务是否启动并正确配置。
  • 确保防火墙或安全组规则放行了相应的端口（如SSH的22端口，RDP的3389端口）。
  • 检查服务器的网络连接，确保网络可达。
  • 检查服务器系统日志，查看是否有相关错误信息。

14. SSL证书过期或配置错误

• 排查方法：

• • 查看证书的有效期限，若已过期，则需更新证书。
  • 检查证书安装是否正确，是否与域名匹配。
  • 对于HTTPS服务，确认服务配置中是否正确引用了新的证书文件。

15. 系统资源争抢

• 排查方法：

• • 使用资源监控工具，找出消耗资源最高的进程。
  • 对高资源消耗进程进行分析，优化配置或限制资源使用。
  • 考虑使用容器技术（如Docker）或资源隔离技术（如cgroups）来防止资源争抢。

16. 服务器遭受DDoS攻击

• 排查方法：

• • 观察网络流量，如发现异常增长，则可能存在DDoS攻击。
  • 使用网络流量分析工具或与IDC服务商合作，分析流量来源，过滤恶意流量。
  • 启用或增强现有的DDoS防护方案，如配置防火墙策略，或购买专业的DDoS防护服务。

17. 服务器时间同步问题

• 排查方法：

• • 检查系统时间是否与世界标准时间相差过大，如是则需要校准或开启NTP（Network Time Protocol）服务进行时间同步。

18. 服务器宕机或断电

• 排查方法：

• • 检查电力供应，包括UPS（不间断电源）和备用电池是否正常工作。
  • 确认服务器电源模块是否存在问题，如有条件可更换备件测试。
  • 检查机房供电线路和插座，排除电源线路故障。
  • 定期清理服务器内部灰尘，确保散热良好，防止因过热而导致的自动关机。

19. 数据库性能瓶颈

• 排查方法：

• • 使用数据库性能分析工具，如MySQL的Explain、SQL Server的Profiler等分析慢查询。
  • 检查数据库索引是否合理，适当增加或优化索引。
  • 分析数据库表结构和数据分布，避免数据倾斜带来的性能问题。
  • 考虑数据库分区、分片、读写分离等高级优化技术。

20. 系统日志爆满

• 排查方法：

• • 查看系统日志文件大小，确认是否超出预期。
  • 调整日志级别或日志滚动策略，避免无用信息过度占用磁盘空间。
  • 定期清理或归档旧日志，确保日志文件不过大。
  • 分析产生大量日志的原因，如应用程序错误、安全攻击等，并针对性解决。

21. 应用程序崩溃或无响应

• 排查方法：

• • 查看应用程序错误日志，分析崩溃原因。
  • 使用调试工具追踪程序运行，定位引发崩溃的代码段。
  • 检查程序依赖的库或服务是否正常运行。
  • 若是多线程或多进程应用，关注是否存在并发问题或锁竞争。

22. 存储空间不足

• 排查方法：

• • 使用df或du命令查看磁盘空间使用情况。
  • 清理无用的大文件或旧版本文件。
  • 考虑增加存储容量，或优化存储空间使用策略。
  • 对数据库进行整理，如删除无效数据、归档历史数据等。

23. I/O密集型应用响应缓慢

• 排查方法：

• • 使用iostat、iotop等工具监测磁盘I/O性能。
  • 检查硬盘读写速度，优化磁盘阵列配置，如增加RAID等级或更换更快的磁盘。
  • 对数据库进行优化，例如批量处理操作，避免频繁的小I/O操作。
  • 考虑升级到SSD固态硬盘或使用高速存储设备以提升I/O性能。

24. 应用程序遭遇内存溢出

• 排查方法：

• • 使用内存分析工具定位占用内存大的对象或进程。
  • 检查程序代码，优化内存使用，避免无谓的对象创建和销毁。
  • 设定合适的JVM堆大小，或在.NET等环境中调整内存限制。
  • 对于长期运行的服务，考虑使用内存泄漏检测工具，预防内存泄露问题。

25. 网络连接断断续续

• 排查方法：

• • 检查服务器所在网络环境的稳定性，包括物理链路、交换机和路由器等。
  • 使用ping、traceroute等命令诊断网络连通性，查找中间节点故障。
  • 检查服务器网络配置，如MTU值、TCP窗口大小等是否合理。
  • 对于无线网络，注意信号强度和干扰问题。

26. 系统频繁触发磁盘缓存I/O错误

• 排查方法：

• • 检查磁盘硬件状态，包括SMART信息和错误日志。
  • 修复或替换有问题的磁盘，重建RAID阵列或更换磁盘控制器。
  • 调整文件系统缓冲区大小，优化系统缓存策略。
  • 配置适当的I/O调度策略，如Linux下的CFQ、Deadline等。

27. 负载均衡器故障或配置不当

• 排查方法：

• • 检查负载均衡器的健康检查机制是否正常，确保服务器节点处于在线状态。
  • 确保配置的权重、会话保持等策略正确无误。
  • 检查负载均衡器自身的工作状态，如网络连接、系统资源使用等。
  • 更新或重新配置负载均衡策略，以应对流量波动或服务器增减等情况。

28. 服务器操作系统许可证问题

• 排查方法：

• • 登录操作系统查看许可证状态，确保许可证有效且未超量使用。
  • 如果许可证过期或超出许可数量，应及时购买并激活新的许可证。
  • 对于Windows Server等操作系统，可以使用“slmgr.vbs”命令行工具查询许可证状态。

29. 服务器内部硬件故障

• 排查方法：

• • 检查服务器内部的风扇、电源、主板、CPU、内存、RAID控制器等部件是否正常。
  • 使用硬件监控工具（如HP iLO、Dell DRAC等）查看硬件状态信息。
  • 根据错误代码或LED指示灯判断具体故障部件，及时更换故障硬件。

30. 系统资源占有率异常

• 排查方法：

• • 使用系统性能监视工具（如Windows Performance Monitor、Linux top/htop）检查CPU、内存、磁盘I/O、网络带宽等资源的使用情况。
  • 找出占用资源最多的进程，分析其行为和需求是否合理，优化其资源使用。
  • 若发现异常进程，尝试停止或优化该进程，防止资源浪费。

31. 系统定时任务执行失败

• 排查方法：

• • 查看cron（Linux）或Task Scheduler（Windows）中的定时任务列表，找到出问题的任务。
  • 分析任务执行的脚本或程序，查看输出日志，查找错误原因。
  • 检查任务执行的权限、环境变量、依赖服务等是否满足要求。

32. 安全组或防火墙规则冲突

• 排查方法：

• • 检查安全组（如AWS EC2 Security Group）或防火墙规则配置，确保入站和出站规则正确无误。
  • 测试受影响的服务或应用，通过telnet、curl等方式检查端口是否对外开放。
  • 清除不必要的规则，尽量减少规则间的冲突和覆盖。

33. 服务器频繁发生磁盘碎片过多

• 排查方法：

• • 对磁盘进行碎片整理（如Windows的Defragment and Optimize Drives工具，Linux的fstrim命令）。
  • 调整文件系统配置，使用适合的文件系统，如EXT4、XFS等，减少碎片产生。
  • 对于数据库等经常写入的存储，考虑采用特殊文件系统布局或RAID技术以减少碎片。

34. 系统或服务间歇性挂起

• 排查方法：

• • 分析系统日志和核心转储文件（core dump）寻找线索。
  • 检查系统资源使用情况，特别是CPU的等待时间和队列长度，看是否有过高的上下文切换。
  • 考虑是否存在硬件故障，如内存模块质量差导致的系统不稳定。
  • 检查是否存在硬件驱动程序问题或软件BUG，及时更新驱动和应用程序版本。

35. 应用程序或服务频繁崩溃且无明显错误信息

• 排查方法：

• • 使用调试器或附加日志记录，捕获崩溃时的现场信息。
  • 使用压力测试工具模拟生产环境的压力，尝试重现问题。
  • 检查应用程序依赖的库文件版本和兼容性问题。
  • 对于Java等内存管理较为复杂的环境，检查GC日志以定位内存问题。

36. 服务器间的网络通信延迟过高

• 排查方法：

• • 使用ping、traceroute等工具分析网络路径和跳数。
  • 检查交换机和路由器的配置，是否存在拥塞或QoS策略不当。
  • 对于虚拟化环境，检查虚拟机网络配置，如VLAN、vSwitch等是否正确。
  • 如果是跨数据中心通信，检查专线或公网连接质量。

37. 系统内核panic或BSOD（蓝屏）

• 排查方法：

• • 分析系统崩溃后的内核转储文件或蓝屏错误信息，查找错误代码和模块。
  • 更新系统内核至最新稳定版，修复已知bug。
  • 检查新安装的硬件驱动或系统补丁是否引起内核不稳定。
  • 针对特定错误代码进行搜索引擎查询，参考社区经验解决类似问题。

38. 服务器软件更新失败

• 排查方法：

• • 检查网络连接是否正常，确保服务器能够访问更新源或仓库。
  • 查看软件更新日志，了解失败的具体原因和错误信息。
  • 检查存储空间是否充足，确保有足够的空间完成软件更新。
  • 对于依赖关系复杂的软件包，确认所有依赖已成功更新或安装。

39. 虚拟机性能下降

• 排查方法：

• • 检查宿主机资源分配，确保虚拟机分配的CPU、内存、磁盘空间和网络带宽充足。
  • 分析虚拟机监控数据，查看CPU Ready、磁盘IOPS、网络吞吐等指标是否异常。
  • 检查虚拟机内部资源使用情况，优化虚拟机内部配置，如磁盘类型（HDD vs SSD）、内存交换文件设置等。
  • 根据虚拟化平台的建议，适时升级虚拟化软件版本以改进性能表现。

40. 服务器时间频繁漂移

• 排查方法：

• • 检查NTP（网络时间协议）服务配置是否正确，确保服务器能与权威时间源同步。
  • 查看NTP服务日志，了解同步失败的原因。
  • 检查系统时间配置，确保系统未被人为或恶意软件篡改。
  • 对于硬件时钟不稳定的服务器，可以考虑更换硬件时钟设备。

  41. 服务器邮件发送功能异常

• 排查方法：

• • 检查邮件服务器配置，包括SMTP服务器设置、发信人邮箱验证等。
  • 确认邮件队列是否有积压，清理或重试无法投递的邮件。
  • 检查防火墙和安全组规则，确保邮件服务器的端口（如25、465或587）畅通无阻。
  • 若邮件被接收方拒收，检查DKIM/SPF/DMARC等邮件验证设置是否正确。

42. 服务器磁盘I/O错误频繁

• 排查方法：

• • 使用smartctl等工具检查硬盘SMART状态和错误计数。
  • 对硬盘进行表面测试，如badblocks（Linux）或chkdsk（Windows）等工具。
  • 检查RAID阵列状态，确认是否有硬盘离线或重构正在进行。
  • 考虑调整磁盘I/O调度策略，优化读写性能，或者更换故障硬盘。

43. 文件系统损坏或无法挂载

• 排查方法：

• • 使用fsck工具（Linux）或chkdsk工具（Windows）尝试修复文件系统错误。
  • 确认挂载点和文件系统类型是否正确，检查fstab配置文件。
  • 如有可能，从备份中恢复文件系统或关键数据。
  • 检查硬件，特别是硬盘，以排除物理损坏的可能性。

44. 系统频繁自动重启

• 排查方法：

• • 检查系统日志和内核消息，寻找可能导致自动重启的错误信息。
  • 检查BIOS设置，确保没有启用自动重启功能。
  • 考虑是否是因为硬件故障，如电源不稳定、内存条故障等导致的重启。
  • 确认系统是否有安装触发自动重启的软件，如watchdog守护进程等。

45. 服务器负载均衡失效

• 排查方法：

• • 检查负载均衡器的配置，确保后端服务器池配置正确，健康检查正常。
  • 检查网络连接，确认负载均衡器与后端服务器之间的网络通信正常。
  • 检查负载均衡策略，看是否存在配置不合理导致流量分布不均的情况。
  • 确认后端服务器状态，如果有服务器宕机或性能异常，会导致负载均衡失效。

46. 服务器内部噪声过大

• 排查方法：

• • 检查服务器内部风扇运转情况，是否存在风扇损坏或灰尘过多导致噪音增大。
  • 检测服务器内部温度，高温可能导致风扇全速运转产生噪音。
  • 检查硬盘和电源等硬件设备，是否因老化或故障产生异常声音。
  • 如有必要，对服务器进行清洁维护，并更换损坏的硬件部件。

47. 系统性能骤降，但资源并未饱和

• 排查方法：

• • 检查系统中是否存在大量阻塞的进程或线程，查看进程状态和等待队列。
  • 分析系统调用统计，查看是否存在I/O或网络瓶颈。
  • 确认系统是否受到病毒、恶意软件或挖矿程序的影响。
  • 检查系统内核参数和系统调优设置，如TCP/IP参数、内存回收策略等是否合适。

48. 服务器突然无法访问网络

• 排查方法：

• • 检查物理网络连接，包括网线、交换机端口和网络接口卡状态。
  • 在服务器上运行网络诊断工具（如ping、traceroute、ipconfig/ifconfig等）检查网络连接。
  • 检查服务器的网络配置，包括IP地址、子网掩码、网关和DNS服务器设置。
  • 检查防火墙或安全组规则，确认是否阻止了必要的网络访问。

49. 服务器性能随时间逐渐下降

• 排查方法：

• • 使用系统性能监控工具持续观察CPU、内存、磁盘I/O和网络带宽使用趋势。
  • 检查系统日志和应用日志，查找可能随着时间积累而加重负担的操作或进程。
  • 分析内存泄漏的可能性，使用内存分析工具查看是否存在内存使用量持续上升的现象。
  • 检查是否有定时任务、数据库索引未优化、垃圾文件累积等导致性能下降的因素。

50. 服务器应用服务出现大量超时错误

• 排查方法：

• • 查看应用服务日志，分析超时错误的具体原因。
  • 检查服务器资源使用情况，如CPU、内存、磁盘I/O或网络带宽是否接近饱和。
  • 分析数据库查询性能，是否存在慢查询导致响应延迟。
  • 确认服务配置参数，如连接池大小、超时时间设置是否合理。

51. 服务器遭受勒索软件攻击

• 排查方法：

• • 发现文件被加密、无法打开时，立即隔离感染服务器，避免勒索软件扩散。
  • 检查系统日志，查找可疑进程和网络活动。
  • 使用反病毒软件扫描并清除恶意软件。
  • 若有备份，尝试恢复数据；如果没有，考虑寻求专业安全团队的帮助，或者根据勒索软件提示支付赎金前谨慎权衡。