查看原文
其他

我撸了个内存泄漏检测工具,只用了两招

程序喵大人 程序喵大人 2022-08-22

喵哥技术交流群发现了很多水平很高的朋友,欢迎大家来加喵哥微信,进群一起讨论计算机知识!

程序喵大人微信


大家看我写了这么长时间C++文章,殊不知我在工作中已经一年多没有用过C++了,最近做一个新项目,终于又回到C++的怀抱了,有点激动,也有点不适应。


不管使用什么语言,一定要处理好内存问题,要有检测内存问题的方法论,于是撸了个检测是否有泄漏的小工具,这里分享一波。


先贴个效果图:


实现方法


众所周知C++中申请和释放内存使用的是new和delete关键字:

void func() { A* a = new A(); delete a; A* b = new int[4]; delete[] b;}


再明确下需求:如果程序中存在内存泄漏,我们的目的是找到这些内存是在哪里分配的,如果能够具体对应到代码中哪一个文件的那一行代码最好。好了需求明确了,开始实现。


内存在哪里释放的我们没必要监测,只需要检测出内存是在哪里申请的即可,如何检测呢?


整体思路很简单:在申请内存时记录下该内存的地址和在代码中申请内存的位置,在内存销毁时删除该地址对应的记录,程序最后统计下还有哪条记录没有被删除,如果还有没被删除的记录就代表有内存泄漏。


很多人应该都知道new关键字更底层是通过operator new来申请内存的:

void* operator new(std::size_t sz)


也就是正常情况下C++都是通过operator new(std::size_t sz)来申请内存,而这个操作符我们可以重载:


void* operator new(std::size_t size, const char* file, int line);void* operator new[](std::size_t size, const char* file, int line);


tip:new和new[]的区别我就不具体介绍了,太基础。


如果能让程序申请内存时调用重载的这个函数,就可以记录下内存申请的具体位置啦。


怎么能够让底层程序申请内存时调用重载的这个函数呢?这里可以对new使用宏定义:


#define new new (__FILE__, __LINE__)


有了这个宏定义后,在new A的时候底层就会自动调用operator new(std::size_t size, const char* file, int line)函数,至此达到了我们记录内存申请位置的目的。


这里有两个问题


  1. 在哪里记录内存申请的位置等信息呢?如果在operator new内部又申请了一块内存,用于记录位置,那新申请的这块内存需要记录不?这岂不是递归调用了?

  2. 只有在new宏定义包裹范围内申请了内存才会被记录,然而某些第三方库或者某些地方没有被new宏定义包裹,可能就无法被监测是否申请了内存吧?


下面逐个击破:


哪里存储具体信息?


我们肯定不能让它递归调用啊,那这些信息存储在哪里呢?这里可以在每次申请内存时,一次性申请一块稍微大点的内存,具体信息存储在多余的那块内存里,像这样:

static void* alloc_mem(std::size_t size, const char* file, int line, bool is_array) {    assert(line >= 0);
    std::size_t s = size + ALIGNED_LIST_ITEM_SIZE;    new_ptr_list_t* ptr = (new_ptr_list_t*)malloc(s);    if (ptr == nullptr) {        std::unique_lock<std::mutex> lock(new_output_lock);        printf("Out of memory when allocating %lu bytes\n", (unsigned long)size);        abort();    }    void* usr_ptr = (char*)ptr + ALIGNED_LIST_ITEM_SIZE;
    if (line) {        strncpy(ptr->file, file, _DEBUG_NEW_FILENAME_LEN - 1)[_DEBUG_NEW_FILENAME_LEN - 1] = '\0';    } else {        ptr->addr = (void*)file;    }
    ptr->line = line;    ptr->is_array = is_array;    ptr->size = size;    ptr->magic = DEBUG_NEW_MAGIC;    {        std::unique_lock<std::mutex> lock(new_ptr_lock);        ptr->prev = new_ptr_list.prev;        ptr->next = &new_ptr_list;        new_ptr_list.prev->next = ptr;        new_ptr_list.prev = ptr;    }    total_mem_alloc += size;    return usr_ptr;}


new_ptr_list_t结构体定义如下:

struct new_ptr_list_t {    new_ptr_list_t* next;    new_ptr_list_t* prev;    std::size_t size;    union {        char file[200];
        void* addr;    };    unsigned line;};


没有被new宏包裹的地方可以检测的到吗?


没有被new宏包裹的地方是会调用operator new(std::size_t sz)函数来申请内存的。这里operator new函数不只可以重载,还可以重新定义它的实现,而且不会报multi definition的错误哦。因为它是一个weak symbol,有关strong symbol和weak symbol的知识点可以看我之前的一篇文章:《谈谈程序链接及分段那些事


既然可以重定义,那就可以这样:

void* operator new(std::size_t size) {  return operator new(size, nullptr, 0); }

这样有个缺点,就是不能记录内存申请的具体代码位置,只能记录下来是否申请过内存,不过这也挺好,怎么也比没有任何感知强的多。


其实这里不是没有办法,尽管没有了new宏,获取不到具体申请内存的代码位置,但是可以获取到调用栈信息,把调用栈信息存储起来,还是可以定位大体位置。关于如何获取调用栈信息,大家可以研究下libunwind库看看。


释放内存时怎么办?


这里需要重定义operator delete(void* ptr)函数:

void operator delete(void* ptr) noexcept {  free_pointer(ptr, nullptr, false); }


free_pointer函数的大体思路就是在链表中找到要对应节点,删除掉,具体定义如下:

static void free_pointer(void* usr_ptr, void* addr, bool is_array) {    if (usr_ptr == nullptr) {        return;    }    new_ptr_list_t* ptr = (new_ptr_list_t*)((char*)usr_ptr - ALIGNED_LIST_ITEM_SIZE);    {        std::unique_lock<std::mutex> lock(new_ptr_lock);        total_mem_alloc -= ptr->size;        ptr->magic = 0;        ptr->prev->next = ptr->next;        ptr->next->prev = ptr->prev;    }    free(ptr);}


如何检测是否有内存泄漏?


遍历链表即可,每次new时候会把这段内存插入链表,delete时候会把这段内存从链表中移出,如果程序最后链表长度不为0,即为有内存泄漏,代码如下:


int checkLeaks() {    int leak_cnt = 0;    int whitelisted_leak_cnt = 0;    new_ptr_list_t* ptr = new_ptr_list.next;
    while (ptr != &new_ptr_list) {        const char* const usr_ptr = (char*)ptr + ALIGNED_LIST_ITEM_SIZE;        printf("Leaked object at %p (size %lu, ", usr_ptr, (unsigned long)ptr->size);        if (ptr->line != 0) {            print_position(ptr->file, ptr->line);        } else {            print_position(ptr->addr, ptr->line);        }        printf(")\n");        ptr = ptr->next;        ++leak_cnt;    }    return leak_cnt;}


ps:关于可以重定义operator new这个操作,我也是最近看到别人代码后才发现,于是参考别人代码小撸了个代码检测工具,希望大家有所收获!


打完收工,完整代码可点击阅读原文。



往期推荐


1、少写点
if-else吧,它的效率有多低你知道吗?
2、年度原创好文汇总
3、深度好文|面试官:进程和线程,我只问这19个问题
4
他来了,他来了,C+
+17新特性精华都在这了
5、一文让你搞懂设计模式
6、C++11新特性,所有知识点都在这了!




C++学习资料免费获取方法:关注程序喵大人,后台回复“程序喵”即可免费获取40万字C++进阶独家学习资料。


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存