在工作中,我们排除app出现的一些性能/资源问题时,通常要先知道当前app的资源使用情况,方能进一步思考改进措施。
获取这些信息的途径有很多,我这里简单分享下两种:
1)从proc文件系统;
2)通过linux 的api函数。
一、/proc/[pid]/下的各个文件
1、proc简介
/proc 目录是一个特殊的虚拟文件系统,它提供了对内核运行时信息的访问,包括进程、设备、网络、文件系统等各个方面的信息。
它不是一个真正的文件系统,而是基于内核数据结构的一个接口,通过这个接口可以获取系统的运行时状态。
下面是 /proc 目录的一些重要子目录和关键内容的说明:
- /proc/[pid]:此目录以进程的 id(pid)命名,并包含与该进程有关的文件和目录,如之前所讲的 /proc/pid/目录。
- /proc/cpuinfo:该文件包含有关 cpu(处理器)的信息,如厂商、型号、频率、缓存等。
- /proc/meminfo:该文件包含有关系统内存的信息,如总内存、可用内存、缓存、交换分区等。
- /proc/mounts:此文件列出了系统上已挂载的文件系统,包括文件系统类型、挂载点、挂载选项等信息。
- /proc/net:此目录包含有关网络协议、接口和连接的信息,如 /proc/net/tcp、/proc/net/udp 等文件。
- /proc/sys:此目录包含与内核参数和系统配置相关的文件。可以通过读写这些文件来修改内核的运行时行为。
- /proc/version:该文件包含了当前正在运行的内核版本信息。
- /proc/cmdline:此文件包含了系统引导时传递给内核的命令行参数。
- /proc/uptime:该文件包含自系统开机以来的运行时间和空闲时间。
- /proc/sys/kernel/hostname:此文件包含主机的名称(hostname)。
除了上述目录和文件,/proc 目录下还有很多其他文件和目录,涵盖了系统和进程的各个方面的信息。
需要注意的是,/proc 目录下的文件是动态生成的,信息在进程运行时改变。读取这些文件时,请确保有足够的权限,并理解每个文件的含义和用途。此外,不要轻易对 /proc 目录下的文件进行修改,因为这可能会导致系统不稳定或损坏。
2、/proc/[pid]/详解
- arch_status: 该文件包含了有关进程所运行的指令集架构的信息。例如,它可以显示进程在x86或arm架构上运行。
- attr: 此目录包含与进程关联的文件、目录和进程的访问控制列表(acl)信息。这些文件和目录的访问权限可以在这里进行管理和修改。
- autogroup: 这个文件显示了进程是否被自动控制分组,以限制对cpu资源的访问。如果进程分配给自动控制分组,则该文件中的值为"1";否则,为"0"。
- auxv: 此文件包含了进程的辅助向量信息,这些信息在加载动态链接器时向其传递参数。辅助向量为动态链接器提供有关进程环境和运行状态的信息。
- cgroup: 该文件显示了进程所属的控制组(cgroup)的路径。控制组是一种组织和限制进程资源使用的方式。
- cmdline: 该文件包含了启动进程时使用的命令行参数,以null字符分隔各个参数。可以通过读取该文件来获取进程的命令行参数信息。
- comm: 进程的命令名可以通过这个文件获得。它可以是可执行文件名或进程自描述。
- coredump_filter:这个文件决定了进程在发生崩溃时生成核心转储(core dump)的内容。通过修改该文件的值,可以控制生成核心转储时包含的内容,这对于调试崩溃问题非常有用。可以使用 echo 命令将特定的值写入这个文件中,以修改核心转储的行为。
- cpu_resctrl_groups:这个文件是与 cpu 资源控制(resource control)相关的,用于管理进程对cpu资源的使用。通过这个文件,可以查询或配置进程关联的 cpu resctrl(cpu资源控制)组的信息。cpu资源控制是用于管理和限制进程对cpu资源的访问的一种技术,可以实现资源隔离、分配和监控。
- cwd: 这是一个符号链接,指向进程的当前工作目录(current working directory)。
- environ: 该文件包含了进程的环境变量,以null字符分隔各个环境变量。通过读取该文件,可以获取进程的环境变量信息。
- cpuset: 这个文件包含了进程所属的 cpuset(cpu affinity)的信息,可以用于管理进程所能使用的 cpu 核心。 通过这个文件,可以查询或设置进程所在的 cpuset。
- exe:这是一个符号链接,指向进程正在执行的可执行文件。通过读取这个符号链接,可以获取进程当前正在执行的可执行文件的路径。
- fdinfo: 这个目录包含了关于进程打开的文件描述符(file descriptor)的详细信息,如文件的偏移量(offset)等。
- gid_map:这个文件用于表示进程的实际组id(gid)与其用户命名空间中的gid之间的映射关系。
- io:这个文件包含了有关进程的输入/输出统计信息,如读取和写入的字节数、i/o操作次数等。
- limits:这个文件包含了对进程资源限制的报告,显示了一些限制项目的值,比如内存限制、文件大小限制等。
- loginuid:这个文件记录了与进程关联的登录用户id(login uid)。
- map_files:这个目录包含了进程打开的映射文件的相关信息,可以用于查询进程当前使用的文件映射情况。
- fd: 此目录包含了进程打开的文件描述符(file descriptor)的符号链接。可以通过查看这些符号链接来获取进程打开的文件等信息。
- maps: 该文件包含有关进程内存映射的信息,包括进程的内存地址范围、映射的文件等。
- mounts: 此文件显示了进程的挂载点信息,包括进程当前挂载的各个文件系统的详细数据。
- mem:这个文件允许对进程的内存空间进行直接访问,可以用于调试、内存分析等目的。
- mountinfo:这个文件提供了有关进程所挂载的文件系统的详细信息,包括挂载点、挂载选项等。
- mountstats: 此文件包含了有关挂载点的统计信息,如 i/o 统计等。
- net:目录包含了一系列与网络相关的文件和子目录,可以用于查询进程的网络连接、端口等信息。
- ns:这个目录包含了进程的各种命名空间相关的符号链接,可以用于查询和操作进程的命名空间。
- numa_maps:这个文件包含了有关进程内存使用和numa节点分布情况的信息,对于了解进程的numa相关性非常有用。
- oom_adj:这个文件包含了与进程的oom(out of memory)分级相关的信息,用于调整进程在内存不足情况下被系统杀死的优先级。
- oom_score:这个文件包含了进程的oom分数,用于在系统内存不足时选择性地终止进程。
- oom_score_adj:与 oom_adj 类似,这个文件也用于调整进程在内存不足情况下被系统杀死的优先级。
- pagemap:这个文件提供了有关进程虚拟内存页面到物理内存帧的映射信息,对于内存管理方面的深入了解非常有用。
- patch_state:这个文件包含了有关进程的内核安全补丁状态的信息,通常用于安全审计和补丁管理。
- personality: 这个文件包含了与进程的运行环境和虚拟机架构相关的信息,用于指定进程的特定行为。
- projid_map:在用户命名空间中使用的文件,用于表示进程实际项目id(project id)与其用户命名空间中的项目id之间的映射关系。
- root:这是一个符号链接,指向进程的根目录。
- sched:这个文件提供了与进程调度策略和优先级相关的信息,包括当前调度策略、优先级等。
- schedstat:这个文件包含了与进程调度统计相关的信息,如运行时间、等待时间等。
- sessionid:这个文件记录了与进程关联的会话id。
- setgroups:这个文件包含了与进程的附加组(supplementary group)相关的信息。
- smaps:这个文件提供了详细的进程内存映射信息,包括每个内存区域的权限、大小、映射文件等。
- smaps_rollup: 类似于 smaps 文件,但提供了按文件和库合并的内存映射信息,用于更简洁的内存分析。
- stack:这个文件记录了进程的当前栈的内容。
- stat: 这个文件提供了与进程状态相关的信息,如进程id、父进程id、运行状态等。
- statm:这个文件提供了与进程内存使用量相关的信息,包括进程的总内存、共享内存、库内存、堆内存等。
- status:这个文件提供了有关进程的多种信息,包括进程状态、内存使用、文件描述符等。
- syscall:这个目录包含与进程相关的系统调用信息,可以用于跟踪和分析进程的系统调用。
- task:这个目录包含了进程的所有线程(task)的信息。
- timens_offsets:这个文件提供了与进程关联的时间命名空间偏移量的信息,用于跟踪进程的时间命名空间变化。
- timers:这个目录包含了与进程相关的定时器的信息,如定时器id、时间值等。
- timerslack_ns:这个文件包含了与进程的定时器松弛值(timerslack)有关的信息,用于调整进程的定时行为。
- uid_map:这个文件用于表示进程的实际用户id(uid)与其用户命名空间中的uid之间的映射关系。
- wchan:是一个用于描绘一个进程在等待什么的内核函数指针。它表示了进程当前正在等待的内核函数或系统调用。可用于调试和分析进程的等待状态。
这些文件和目录提供了关于特定进程的多种信息,如进程状态、资源使用情况、环境变量等,通常被用于性能调优、调试以及资源管理方面,对于普通用户来说可能并不经常需要直接操作这些文件。通过读取这些文件,可以了解并监视系统中各个进程的情况。请注意,有些文件是符号链接,需要使用readlink
或ls -l
等命令来获取其指向的真实路径。
知识补充:
命名空间(namespace)在linux系统中是一种用于隔离系统资源的机制。它允许在同一台物理机上创建多个隔离的环境,每个环境可以拥有自己独立的资源实例,例如进程id、挂载点、网络、用户等。这种隔离使得不同的进程能够在同一系统上运行,而彼此之间互不干扰。
在linux中,有多种类型的命名空间,包括但不限于以下几种:
- pid 命名空间(pid namespace):使得进程拥有自己独立的进程id空间,进程在不同的pid命名空间中可以拥有相同的pid而不会相互影响。
- 挂载命名空间(mount namespace):使得进程拥有独立的文件系统挂载点,不同的挂载命名空间中可以有不同的文件系统视图。
- 网络命名空间(network namespace):允许每个命名空间中拥有独立的网络设备、ip地址等网络资源,实现网络隔离。
- ipc 命名空间(ipc namespace):用于隔离进程间通信资源,如消息队列和共享内存等。
- uts 命名空间(uts namespace):用于隔离系统标识,如主机名等。
- 用户命名空间(user namespace):允许分配不同的用户和组id给进程,从而实现用户隔离。
通过使用命名空间,容器技术得以实现,并且不同的容器可以在相互隔离的环境中运行,从而实现更高效的资源利用和更好的安全性。
二、通过linux api获取当前进程或线程的资源使用情况
要获取当前进程或线程的资源使用情况,可以使用linux提供的一些系统调用或api。
以下是一些常用的方法:
1、getrusage
getrusage
是一个用于获取进程或线程的资源使用情况的系统调用函数,在 linux 系统中的头文件 <sys/resource.h>
中定义。
#include <sys/time.h> #include <sys/resource.h> int getrusage(int who, struct rusage *usage);
参数who
用于指定获取资源使用情况的对象,包括以下两个选项:
- rusage_self: 获取当前进程的资源使用情况。
- rusage_children: 获取当前进程创建的所有子进程的资源使用情况的汇总信息。
参数 usage
是一个指向 struct rusage 结构体的指针,用于存储获取到的资源使用情况信息。
//struct rusage 结构体包含了一系列字段,用于表示不同类型的资源使用情况 struct rusage { struct timeval ru_utime; /* user cpu time used */ struct timeval ru_stime; /* system cpu time used */ long ru_maxrss; /* maximum resident set size */ long ru_ixrss; /* integral shared memory size */ long ru_idrss; /* integral unshared data size */ long ru_isrss; /* integral unshared stack size */ long ru_minflt; /* page reclaims (soft page faults) */ long ru_majflt; /* page faults (hard page faults) */ long ru_nswap; /* swaps */ long ru_inblock; /* block input operations */ long ru_oublock; /* block output operations */ long ru_msgsnd; /* ipc messages sent */ long ru_msgrcv; /* ipc messages received */ long ru_nsignals; /* signals received */ long ru_nvcsw; /* voluntary context switches */ long ru_nivcsw; /* involuntary context switches */ };
ru_utime
:用户级别的 cpu 时间(执行用户程序的时间)。ru_stime
:系统级别的 cpu 时间(执行系统调用的时间)。ru_maxrss
:进程最大的常驻内存大小(以 kb 为单位)。ru_ixrss
:进程的共享内存大小。ru_idrss
:进程的非共享数据段的大小。ru_isrss
:进程的栈大小。ru_minflt
:产生的次缺页错误(对不存在的内存页面发生的访问,需要从硬盘加载)。ru_majflt
:产生的主缺页错误(必须从硬盘加载数据)。ru_nswap
:发生的交换次数(从内存到磁盘或反之)。ru_inblock
:从块设备读取的次数。ru_oublock
:向块设备写入的次数。ru_msgsnd
:发送的消息数。ru_msgrcv
:接收的消息数。ru_nsignals
:发出的信号数。ru_nvcsw
:从等待状态唤醒的上下文切换次数(通过虚拟终端 i/o、文件系统路径名查找、等待 cpu 时间等方式)。ru_nivcsw
:无法满足进程需求而导致的上下文切换次数。
这些资源使用情况信息对于进程性能分析和系统监控非常有用。getrusage
函数返回的资源使用情况是关于当前进程或线程的信息。要获取其他进程的资源使用情况,需要使用相应的进程相关的系统调用(如 wait4
),并将返回的 rusage
结构体作为参数传递给 wait4
。
wait4
是一个用于等待子进程结束并获取其状态信息的系统调用函数。在 linux 系统中的头文件 <sys/wait.h>
中定义。wait4
函数的原型为:
pid_t wait4(pid_t pid, int *status, int options, struct rusage *rusage);
其中参数含义如下:
pid
:指定要等待的子进程的 id。传入-1
表示等待任意子进程结束。status
:用于获取子进程的退出状态信息。options
:用于指定等待的选项,包括一些控制子进程状态获取行为的选项。rusage
:用于获取子进程的资源使用情况信息,即上一条回答中提到的struct rusage
结构体。
wait4
函数会阻塞父进程,直到指定的子进程结束。当子进程结束后,父进程将获得子进程的退出状态信息存储在 status
中,并且如果传入了 rusage
参数,则会获取子进程的资源使用情况信息。
通常情况下,wait4
函数与 fork
函数结合使用,父进程通过 fork
创建子进程,然后通过 wait4
等待子进程结束,并获取其状态信息。这样可以实现父子进程之间的同步和协作。
#include <sys/resource.h> int main() { struct rusage usage; getrusage(rusage_self, &usage); // 打印cpu时间 printf("cpu时间: %ld.%06ld 秒\n", usage.ru_utime.tv_sec, usage.ru_utime.tv_usec); // 打印最大使用的内存 printf("最大内存使用量: %ld 字节\n", usage.ru_maxrss); // 其他资源使用情况,可以在usage结构体中查看 // ... return 0; }
2、sysinfo
sysinfo
是一个用于获取系统信息的系统调用函数,在 linux 系统中的头文件 <sys/sysinfo.h>
中定义。
函数原型如下:
int sysinfo(struct sysinfo *info);
参数 info
是一个指向 struct sysinfo
结构体的指针,用于存储获取到的系统信息。
//since linux 2.3.23 (i386) and linux 2.3.48 (all architectures) the structure is: struct sysinfo { long uptime; /* seconds since boot */ unsigned long loads[3]; /* 1, 5, and 15 minute load averages */ unsigned long totalram; /* total usable main memory size */ unsigned long freeram; /* available memory size */ unsigned long sharedram; /* amount of shared memory */ unsigned long bufferram; /* memory used by buffers */ unsigned long totalswap; /* total swap space size */ unsigned long freeswap; /* swap space still available */ unsigned short procs; /* number of current processes */ unsigned long totalhigh; /* total high memory size */ unsigned long freehigh; /* available high memory size */ unsigned int mem_unit; /* memory unit size in bytes */ char _f[20-2*sizeof(long)-sizeof(int)]; /* padding to 64 bytes */ };
long uptime
:系统已经运行的时间(以秒为单位)。unsigned long loads[3]
:系统的平均负载值,分别代表过去1分钟、5分钟和15分钟的平均负载。这些值是无符号长整型数,表示了负载值乘以 2^16 的结果。unsigned long totalram
:系统总共的物理内存大小(以字节为单位)。unsigned long freeram
:系统可用的物理内存大小(以字节为单位)。unsigned long sharedram
:被共享的物理内存大小(以字节为单位)。unsigned long bufferram
:被用作缓冲区的物理内存大小(以字节为单位)。unsigned long totalswap
:交换空间的总大小(以字节为单位)。unsigned long freeswap
:可用的交换空间大小(以字节为单位)。unsigned short procs
:当前进程数量。unsigned long totalhigh
:可用的高位内存大小(以字节为单位)。unsigned long freehigh
:空闲的高位内存大小(以字节为单位)。unsigned int mem_unit
:内存单元大小(以字节为单位)。
sysinfo
函数的返回值为 0 表示成功,-1 表示失败,并且可以通过 errno
来获取具体错误信息。
#include <sys/sysinfo.h> #include <stdio.h> int main(int argc, char *argv[]) { struct sysinfo info; sysinfo(&info); // 打印总内存大小 printf("总内存大小: %ld 字节\n", info.totalram * info.mem_unit); // 打印已使用内存大小 printf("已使用内存大小: %ld 字节\n", (info.totalram - info.freeram) * info.mem_unit); // 其他资源使用情况,可以在info结构体中查看 // ... return 0; }
在struct sysinfo
结构体中,loads
数组中的数值表示了负载值乘以 2^16 的结果,这是因为 sysinfo
结构体中的 loads
数组使用了 unsigned long
类型。
在 linux 内核中,负载值是以固定点数的格式表示的,使用了定点数表示方式来保留小数部分。在这里,每个负载值都被乘以了 2^16(65536),以便将小数部分转换为整数。
这种表示方式的好处在于,它可以比较精确地表示系统的负载情况,同时又不需要使用浮点数来表示,因为浮点数的运算会耗费相对更多的 cpu 时间。通过将负载值乘以一个固定的倍数(2^16),可以在不牺牲太多精度的情况下,使用整数进行表示和计算,这样会更高效。
当我们从 struct sysinfo
结构体中获取负载值时,需要将其除以 2^16 来得到真实的负载值。例如,在上面的示例代码中,打印负载值时并没有除以 2^16,因此实际的负载值应当是 info.loads[x] / 65536
才能得到系统的实际负载情况。
总之,通过将负载值乘以 2^16 来表示,linux 内核可以在保持较高精度的同时,使用更高效的整数表示方式,用于存储和计算系统的负载情况。
3、times
times
函数是一个用于获取进程和子进程的系统和用户 cpu 时间的系统调用,其原型如下:
#include <sys/times.h> clock_t times(struct tms *buf);
buf
是一个指向tms
结构的指针,它用来存储 cpu 时间的信息。
struct tms
结构包含了进程和子进程的 cpu 时间信息,其定义如下:
struct tms { clock_t tms_utime; // 进程在用户态花费的时间 clock_t tms_stime; // 进程在内核态花费的时间 clock_t tms_cutime; // 所有已终止子进程在用户态花费的时间 clock_t tms_cstime; // 所有已终止子进程在内核态花费的时间 };
tms_utime
表示进程在用户态花费的 cpu 时间。tms_stime
表示进程在内核态花费的 cpu 时间。tms_cutime
表示所有已终止子进程在用户态花费的 cpu 时间。tms_cstime
表示所有已终止子进程在内核态花费的 cpu 时间。
示例代码如下所示,演示了如何使用 times
函数来获取进程的 cpu 时间信息:
#include <stdio.h> #include <sys/times.h> #include <time.h> #include <unistd.h> int main() { struct tms tms_buf; clock_t start, end; // 获取起始时间 start = times(&tms_buf); printf("starting time: %ld\n", start); // 模拟一些工作 for (int i = 0; i < 100000000; ++i) { // do something } // 获取结束时间 end = times(&tms_buf); printf("ending time: %ld\n", end); // 计算 cpu 时间消耗 clock_t user_time = tms_buf.tms_utime; clock_t sys_time = tms_buf.tms_stime; printf("user cpu time: %ld\n", user_time); printf("system cpu time: %ld\n", sys_time); return 0; }
这个示例代码中,我们首先调用 times
函数获取了进程的 cpu 时间信息,并输出了起始时间。然后进行了一些模拟工作,之后再次调用 times
函数获取了结束时间,最后计算了用户态和内核态的 cpu 时间消耗。
总结
以上为个人经验,希望能给大家一个参考,也希望大家多多支持代码网。
发表评论