Linux性能优化之CPU使用率

发表于 2年以前 | 总阅读数：507 次

CPU 使用率是单位时间内 CPU 使用情况的统计，以百分比的方式展示。工作过程中，使用最多的查看 CPU 使用率的命令为 top 和 ps，top 和 ps 向用户呈现信息的区别如下。

top 显示了系统总体的 CPU 和内存使用情况，以及各个进程的资源使用情况。
ps 只显示每个进程的资源使用情况。

上面输出结果中，第三行 %Cpu 就是系统的 CPU 使用率，默认显示的是所有 CPU 的平均值，如果想要查看每个 CPU 的使用率，输入数字 1 即可。空白行之后是进程的实时信息，每个进程都有一个 %CPU 列，表示进程的 CPU 使用率，它是用户态和内核态 CPU 使用率的总和，包括进程用户空间使用的 CPU、系统调用执行的内核空间 CPU 、就绪队列等待运行的 CPU。

top 命令并没有细分每个进程的用户态 CPU 和内核态 CPU。在实际问题分析中，可以使用 pidstat 分析每个进程 CPU 使用情况的工具。比如，下面的 pidstat 命令，就间隔 1 秒展示了进程的 2 组 CPU 使用率。

上面输出结果包含如下内容。

%usr ：用户态 CPU 使用率；
%system：内核态 CPU 使用率；
%guest：运行虚拟机 CPU 使用率；
%wait：等待 CPU 百分比；
%CPU：总的 CPU 使用率；
CPU：进程运行的CPU编号；
Command：进程执行时的命令行；

最后的 Average 部分，还计算了几组数据的平均值。

通过 top、ps、pidstat 等工具，可以容易地找到 CPU 使用率较高的进程。但是导致 CPU 使用率较高的具体原因是什么，或者是哪块代码导致的呢？找到消耗 CPU 的代码，才能更高效地对代码进行分析及优化。

对于分析导致 CPU 使用率高的代码，perf 是个不错的工具。perf 是 Linux 内置的性能分析工具，它以性能事件采样为基础，不仅可以分析系统的各种事件和内核性能，还可以用来分析指定应用程序的性能问题。使用 perf 分析 CPU 性能问题，有两种常见的用法，第一种用法是 perf top，类似于 top，它能够实时显示占用 CPU 时钟最多的函数或者指令，因此可以用来查找热点函数，使用界面如下所示。

上面输出结果中，第一行包含三个数据，分别是采样数（Samples）、事件类型（event）和事件总数量（Event count）。这个输出中，perf 总共采集了 47k 个 CPU 时钟事件，而总事件数则为 228648548。另外，采样数需要特别注意，如果采样数过少（比如只有十几个），那下面的排序和百分比就没什么实际参考价值了。

perf top 从第 2 行开始的输出中，包含 4 列数据，所代表的含义如下。

Overhead：是该符号的性能事件在所有采样中的比例，用百分比来表示。
Shared：是该函数或指令所在的动态共享对象（Dynamic Shared Object），如内核、进程名、动态链接库名、内核模块名等。
Object：是动态共享对象的类型。比如 [.] 表示用户空间的可执行程序、或者动态链接库，而 [k] 则表示内核空间。
Symbol ：是符号名，也就是函数名。当函数名未知时，用十六进制的地址来表示。

第二种用法是 perf record 和 perf report。perf top 虽然实时展示了系统的性能信息，但它的缺点是并不保存数据，也就无法用于离线或者后续的分析。而 perf record 则提供了保存数据的功能，保存后的数据，需要使用 perf report 解析展示。

#收集数据（ctrl c 停止收集）
perf record
#输出报告
perf report

在实际使用中，我们还经常为 perf top 和 perf record 加上 -g 参数，开启调用关系的采样，方便我们根据调用链来分析性能问题。

本案例在代码执行过程中注入一个死循环，使 CPU 使用率达到 100%，然后借助工具进行分析，找到使 CPU 利用率升高的代码段，案例代码编译生成的可执行文件名称为 main。

在 Ubuntu 系统中打开一个终端执行 main 程序，然后在另一个终端中输入 top ，随后输入 1 查看每个 CPU 的使用率，如下所示。

上面图片可以看到，CPU2 的使用率达到 100%，也可以看到 main 进程对CPU的使用率达到 100%，说明系统 CPU 使用率升高是由于 main 进程导致的，但是具体是什么函数导致的，可以使用 perf 命令进行展示，在终端中输入如下命令。


# -g开启调用关系分析，-p指定进程号为5954
perf top -g -p 5954

在上述命令的输出结构中，按方向键切换到 main 进程，然后按下回车键展开函数调用关系。

上面图片展示的调用关系为 __libc_start_main--->main--->func，查看案例代码，如下所示，func 接口中注入了死循环，从而导致 CPU 使用率升高。

perf 工具在分析 CPU 使用率升高原因、系统性能分析方面有很大的帮助，支持的命令比较多，在实际工作中，可以使用 "perf help" 命令查看 perf 支持的所有命令，使用 "perf help COMMAND" 命令查看某个命令的使用方法。

在实际的生产工作中，可能还会遇到一种奇怪的问题，通过 top 命令可以看到系统总体 CPU 使用率比较高，但是查看每一个进程的 CPU 使用率，却无法找出 CPU 使用率高的进程，这有可能是以下两种情况产生的。

应用里直接调用了其他二进制程序，这些程序通常运行时间比较短，通过 top 等工具也不容易发现。
应用本身在不停地崩溃重启，而启动过程的资源初始化，很可能会占用相当多的 CPU。

遇到这种情况应该如何分析呢，这里介绍两个工具，如下所示。

pstree ：可以用树状形式显示所有进程之间的关系，在分析短时进程问题时，可以找到短时进程的父进程，从而结合代码进行分析。
execsnoop：一个专为短时进程设计的工具，它通过 ftrace 实时监控进程的 exec() 行为，输出短时进程的基本信息，包括进程 PID、父进程 PID、命令行参数以及执行的结果。

以下提供了 pstree 工具和 execsnoop 工具的安装方式。

# pstree 安装
apt install pstree 
# execsnoop 安装
wget https://raw.githubusercontent.com/brendangregg/perf-tools/master/execsnoop
chmod 755 execsnoop
mv execsnoop /usr/bin