Tag: valgrind

R package的UBSAN测试

zhanxw Leave a comment

R package的UBSAN测试
How to perform UBSAN tests on R packages

最近需要提交一个R package (seqminer)到CRAN，我们需要保证这个包代码通过UBSAN 测试（Undefined bahavior sanitizer tests，详见这个链接).
这个测试可以有效的检测结果不确定的指令（例如打印INT_MAX＋1）。

目前只有Clang（版本3.3以后）才能支持UBSAN。为了对R package进行UBSAN测试，我们首先需要一个特殊的R版本，即用打开UBSAN支持(-fsanitize=undefined)的Clang编译的R。参考了网上一篇Blog，写一下简单步骤：

1. 下载编译工具

1
2
sudo apt-get install valgrind subversion r-base-dev clang-3.4 texlive-fonts-extra texlive-latex-extra
sudo apt-get build-dep cran-base

2. 下载R源代码（devel版本）

1
svn co https://svn.r-project.org/R/trunk ~/R-devel

3. 替换R-devel/config.site

1
2
3
4
5
6
7
8
CC="clang -std=gnu99 -fsanitize=undefined"
CFLAGS="-fno-omit-frame-pointer -Wall -pedantic -mtune=native"
F77="gfortran"
LIBnn="lib64"
LDFLAGS="-L/usr/local/lib64 -L/usr/local/lib"
CXX="clang++ -std=c++11 -fsanitize=undefined"
CXXFLAGS="-fno-omit-frame-pointer -Wall -pedantic -mtune=native"
FC=${F77}

4. 编译

1
2
3
cd R-devel
./configure --with-x=no --without-recommended-packages
make

这里–without-recommended-packages会省略一些R的packages（例如boot,nlme,Matrix) 以提升编译速度。如果不用这个选项，我发现Matrix package总是没法编译

5. 建立~/.R/Makevars

1
2
3
CC = clang -std=gnu99 -fsanitize=undefined -fno-omit-frame-pointer
CXX = clang++ -fsanitize=undefined -fno-omit-frame-pointer
PKG_LIBS = /usr/lib/llvm-3.4/lib/clang/3.4/lib/linux/libclang_rt.ubsan_cxx-x86_64.a

这里CXX 一定要用clang++，如果用clang的话会出现链接错误，比如找不到这个符号： _ZTVN10__cxxabiv117__class_type_infoE

这里还需要指定PKG_LIBS包括LLVM的库文件，不然就找不到UBSAN的符号。

6. 测试package

1
2
R CMD build seqminer/
R CMD check seqminer_2.7.tar.gz

UBSAN测试的结果会显示在：seqminer.Rcheck/tests/tests.Rout
如果有错误，你会看很长的一行， runtime error….

其他技巧

检测内存还可以用valgrind：

1
2
3
R CMD check --use-valgrind seqminer_2.7.tar.gz
R -d valgrind --vanilla < mypkg-Ex.R
R -d "valgrind --tool=memcheck --leak-check=full" --vanilla < mypkg-Ex.R

Valgrind 查内存错误的利器

zhanxw Leave a comment

Valgrind – a cool tool to check memory related problems

Valgrind是非常有用的检查内存相关问题的工具。比如： 内存泄漏，double free memory，内存非法访问。基本上Segmentation fault都能用Valgrind查出来。我刚刚查出了一个很刁钻的bug，在找bug的过程中发现valgrind非常有用，但要用好，还需要点技巧。

先描述一下问题：

自己的程序总是Segmentation Fault。我先用Valgrind运行，重要结果如下：


==11060== Invalid write of size 8
==11060== at 0x44FF07: FileReader::FileReader() (in /net/nfsb/dumbo/home/zhanxw/smallTool/BamPileup)
==11060== by 0x410D05: BufferedReader::BufferedReader(char const*, int) (IO.h:232)
==11060== by 0x41126C: LineReader::LineReader(char const*) (IO.h:332)
==11060== by 0x41047A: RangeList::addRangeFile(char const*) (RangeList.cpp:128)
==11060== by 0x405B28: main (BamPileup.cpp:258)
==11060== Address 0x75fc2e8 is 0 bytes after a block of size 40 alloc'd
==11060== at 0x4C27CC1: operator new(unsigned long) (vg_replace_malloc.c:261)
==11060== by 0x411252: LineReader::LineReader(char const*) (IO.h:332)
==11060== by 0x41047A: RangeList::addRangeFile(char const*) (RangeList.cpp:128)
==11060== by 0x405B28: main (BamPileup.cpp:258)
==11060==

因为我的BufferedReader包含FileReader类，我最开始的几个思路：
1. 自己的code有bug
BufferedReader 和 FileReader都是自己写的，用过很多次没有问题，这次出现Valgrind报错在IO.h:232，因此反复检查了那段代码。
2. 怀疑link有问题的library
重新编译整个code多次。

但是问题依旧，后来给Valgind 这几个参数 –show-reachable=yes –leak-check=full ，再重新运行：

==11908== Invalid write of size 8
==11908== at 0x4584BB: FileReader::FileReader() (BgzfFileTypeRecovery.cpp:239)
==11908== by 0x4106B5: BufferedReader::BufferedReader(char const*, int) (IO.h:232)
==11908== by 0x410C28: LineReader::LineReader(char const*) (IO.h:332)
==11908== by 0x40FE2A: RangeList::addRangeFile(char const*) (RangeList.cpp:128)
==11908== by 0x4054D8: main (BamPileup.cpp:258)
==11908== Address 0x75fc2e8 is 0 bytes after a block of size 40 alloc'd
==11908== at 0x4C27CC1: operator new(unsigned long) (vg_replace_malloc.c:261)
==11908== by 0x410C0E: LineReader::LineReader(char const*) (IO.h:332)
==11908== by 0x40FE2A: RangeList::addRangeFile(char const*) (RangeList.cpp:128)
==11908== by 0x4054D8: main (BamPileup.cpp:258)
==11908==

这次一下发现原来是我link别人代码的时候，我们都有一个类叫做FileReader，编译器把错误的FileReader代码链接给我，所以把程序搞崩溃了。

总结一下，要是：
1. 自己一下子就用到Valgrind的这些参数
2. 链接别人的代码前先测试一下，然后就能把问题的原因归于新加入的代码

可惜没那么多“要是”，以此文纪念一下刚刚过去的3个小时。