CRC32计算方法

最近项目中要使用crc32来计算checksum，先是使用python3的zlib库进行计算，算出的值作为参考（使用zlib.crc32()方法）。然后使用网上拷贝的C代码来算，结果算出的crc32值与zlib.crc32()算出的不相等，于是又从网上找了各种计算crc32的C代码，发现都不相等…

所以，本人决定从zlib源码下手去进行探索，下面是整个过程。

一 Python3计算crc32

使用以下代码生成crc32作为标准值，

import zlib

bytesData = b"\x01\x02\x03\x04\x05\x06\x07\x08\x09"

retCRC = zlib.crc32(bytesData, 0)
print("{}".format(retCRC))

zlib.crc32()的第一个参数是要被计算的值，第二个参数是crc初始值，可以用于分段计算crc，例如，整体数据是200KB，先收到100KB算出一个crc，剩下100KB进行计算时，其crc初始值就是上一个100KB计算得到的crc值，最终就可以得到200KB数据的crc值。

算出的值为1089448862

二使用zlib的C库计算crc32

本人是在Linux下进行操作的，Windows下使用VS2015进行操作时总是失败。首先网上去下载zlib-1.2.11，下载后解压，
在这里插入图片描述
然后cd进入zlib-1.2.11目录下，接着执行下面的命令进行编译，

./configure && make

编译OK后在目录下找到以下三个文件，并拿出来，
在这里插入图片描述
由于本人比较喜欢使用CMake，所以使用CMake进行编译，由于代码比较简单，直接使用gcc进行编译也是可以的。

整体工程结构如下，
在这里插入图片描述
bin目录用于放生成的可执行文件，build目录用于编译，src目录存放本人写的代码，zlib目录存放先前提出来的zlib文件。

main.c内容如下，

#include <stdio.h>

#include "zlib.h"
#include "zconf.h"


int main(void)
{
    
    
    Bytef buf[9] = {
    
    1,2,3,4,5,6,7,8,9};
    uLong crcValue = crc32(0, buf, 9);
    printf("crc32: %d\n", crcValue);
    
    return 0;
}

CMakeLists.txt内容如下，

cmake_minimum_required(VERSION 3.5)

project(demoZLIB)

set (EXECUTABLE_OUTPUT_PATH  ${PROJECT_SOURCE_DIR}/bin)

add_definitions(-std=c99)

include_directories(${PROJECT_SOURCE_DIR}/zlib)

link_directories(${PROJECT_SOURCE_DIR}/zlib)

add_executable(main ${PROJECT_SOURCE_DIR}/src/main.c)
target_link_libraries(main libz.a)

cd进入build目录，执行cmake .. && make，然后在bin目录下执行./main，打印如下，
在这里插入图片描述
这个值和Python3的zlib.crc32()生成的值是一样的。下节我们去看看crc32()的函数源码是如何实现的。

扫描二维码关注公众号，回复： 12504398 查看本文章

三 C代码实现相同crc32值

本节是本文的重点。在zlib-1.2.11的源码目录下，有2个文件crc32.h和crc32.c，
在这里插入图片描述
可以推断出计算crc32的方法肯定在这2个文件里面，Python3和上节代码都是使用crc32方法，所以直接在crc32.c里查找crc32()函数的定义，如下，

unsigned long ZEXPORT crc32(crc, buf, len)
    unsigned long crc;
    const unsigned char FAR *buf;
    uInt len;
{
    
    
    return crc32_z(crc, buf, len);
}

代码里调用了crc32_z()，继续查找，如下，

/* ========================================================================= */
#define DO1 crc = crc_table[0][((int)crc ^ (*buf++)) & 0xff] ^ (crc >> 8)
#define DO8 DO1; DO1; DO1; DO1; DO1; DO1; DO1; DO1

/* ========================================================================= */
unsigned long ZEXPORT crc32_z(crc, buf, len)
    unsigned long crc;
    const unsigned char FAR *buf;
    z_size_t len;
{
    
    
    if (buf == Z_NULL) return 0UL;

#ifdef DYNAMIC_CRC_TABLE
    if (crc_table_empty)
        make_crc_table();
#endif /* DYNAMIC_CRC_TABLE */

#ifdef BYFOUR
    if (sizeof(void *) == sizeof(ptrdiff_t)) {
    
    
        z_crc_t endian;

        endian = 1;
        if (*((unsigned char *)(&endian)))
            return crc32_little(crc, buf, len);
        else
            return crc32_big(crc, buf, len);
    }
#endif /* BYFOUR */
    crc = crc ^ 0xffffffffUL;
    while (len >= 8) {
    
    
        DO8;
        len -= 8;
    }
    if (len) do {
    
    
        DO1;
    } while (--len);
    return crc ^ 0xffffffffUL;
}

宏DYNAMIC_CRC_TABLE和BYFOUR都没有定义（在zconf.h里没有找到定义），crc_table在crc32.h里。现在就可以照着函数crc32_z()写我们自己的代码了。

自定义C代码test.c内容如下，

#include <stdio.h>

static const unsigned long crc_table[256] =
{
    
    
    0x00000000UL, 0x77073096UL, 0xee0e612cUL, 0x990951baUL, 0x076dc419UL,
    0x706af48fUL, 0xe963a535UL, 0x9e6495a3UL, 0x0edb8832UL, 0x79dcb8a4UL,
    0xe0d5e91eUL, 0x97d2d988UL, 0x09b64c2bUL, 0x7eb17cbdUL, 0xe7b82d07UL,
    0x90bf1d91UL, 0x1db71064UL, 0x6ab020f2UL, 0xf3b97148UL, 0x84be41deUL,
    0x1adad47dUL, 0x6ddde4ebUL, 0xf4d4b551UL, 0x83d385c7UL, 0x136c9856UL,
    0x646ba8c0UL, 0xfd62f97aUL, 0x8a65c9ecUL, 0x14015c4fUL, 0x63066cd9UL,
    0xfa0f3d63UL, 0x8d080df5UL, 0x3b6e20c8UL, 0x4c69105eUL, 0xd56041e4UL,
    0xa2677172UL, 0x3c03e4d1UL, 0x4b04d447UL, 0xd20d85fdUL, 0xa50ab56bUL,
    0x35b5a8faUL, 0x42b2986cUL, 0xdbbbc9d6UL, 0xacbcf940UL, 0x32d86ce3UL,
    0x45df5c75UL, 0xdcd60dcfUL, 0xabd13d59UL, 0x26d930acUL, 0x51de003aUL,
    0xc8d75180UL, 0xbfd06116UL, 0x21b4f4b5UL, 0x56b3c423UL, 0xcfba9599UL,
    0xb8bda50fUL, 0x2802b89eUL, 0x5f058808UL, 0xc60cd9b2UL, 0xb10be924UL,
    0x2f6f7c87UL, 0x58684c11UL, 0xc1611dabUL, 0xb6662d3dUL, 0x76dc4190UL,
    0x01db7106UL, 0x98d220bcUL, 0xefd5102aUL, 0x71b18589UL, 0x06b6b51fUL,
    0x9fbfe4a5UL, 0xe8b8d433UL, 0x7807c9a2UL, 0x0f00f934UL, 0x9609a88eUL,
    0xe10e9818UL, 0x7f6a0dbbUL, 0x086d3d2dUL, 0x91646c97UL, 0xe6635c01UL,
    0x6b6b51f4UL, 0x1c6c6162UL, 0x856530d8UL, 0xf262004eUL, 0x6c0695edUL,
    0x1b01a57bUL, 0x8208f4c1UL, 0xf50fc457UL, 0x65b0d9c6UL, 0x12b7e950UL,
    0x8bbeb8eaUL, 0xfcb9887cUL, 0x62dd1ddfUL, 0x15da2d49UL, 0x8cd37cf3UL,
    0xfbd44c65UL, 0x4db26158UL, 0x3ab551ceUL, 0xa3bc0074UL, 0xd4bb30e2UL,
    0x4adfa541UL, 0x3dd895d7UL, 0xa4d1c46dUL, 0xd3d6f4fbUL, 0x4369e96aUL,
    0x346ed9fcUL, 0xad678846UL, 0xda60b8d0UL, 0x44042d73UL, 0x33031de5UL,
    0xaa0a4c5fUL, 0xdd0d7cc9UL, 0x5005713cUL, 0x270241aaUL, 0xbe0b1010UL,
    0xc90c2086UL, 0x5768b525UL, 0x206f85b3UL, 0xb966d409UL, 0xce61e49fUL,
    0x5edef90eUL, 0x29d9c998UL, 0xb0d09822UL, 0xc7d7a8b4UL, 0x59b33d17UL,
    0x2eb40d81UL, 0xb7bd5c3bUL, 0xc0ba6cadUL, 0xedb88320UL, 0x9abfb3b6UL,
    0x03b6e20cUL, 0x74b1d29aUL, 0xead54739UL, 0x9dd277afUL, 0x04db2615UL,
    0x73dc1683UL, 0xe3630b12UL, 0x94643b84UL, 0x0d6d6a3eUL, 0x7a6a5aa8UL,
    0xe40ecf0bUL, 0x9309ff9dUL, 0x0a00ae27UL, 0x7d079eb1UL, 0xf00f9344UL,
    0x8708a3d2UL, 0x1e01f268UL, 0x6906c2feUL, 0xf762575dUL, 0x806567cbUL,
    0x196c3671UL, 0x6e6b06e7UL, 0xfed41b76UL, 0x89d32be0UL, 0x10da7a5aUL,
    0x67dd4accUL, 0xf9b9df6fUL, 0x8ebeeff9UL, 0x17b7be43UL, 0x60b08ed5UL,
    0xd6d6a3e8UL, 0xa1d1937eUL, 0x38d8c2c4UL, 0x4fdff252UL, 0xd1bb67f1UL,
    0xa6bc5767UL, 0x3fb506ddUL, 0x48b2364bUL, 0xd80d2bdaUL, 0xaf0a1b4cUL,
    0x36034af6UL, 0x41047a60UL, 0xdf60efc3UL, 0xa867df55UL, 0x316e8eefUL,
    0x4669be79UL, 0xcb61b38cUL, 0xbc66831aUL, 0x256fd2a0UL, 0x5268e236UL,
    0xcc0c7795UL, 0xbb0b4703UL, 0x220216b9UL, 0x5505262fUL, 0xc5ba3bbeUL,
    0xb2bd0b28UL, 0x2bb45a92UL, 0x5cb36a04UL, 0xc2d7ffa7UL, 0xb5d0cf31UL,
    0x2cd99e8bUL, 0x5bdeae1dUL, 0x9b64c2b0UL, 0xec63f226UL, 0x756aa39cUL,
    0x026d930aUL, 0x9c0906a9UL, 0xeb0e363fUL, 0x72076785UL, 0x05005713UL,
    0x95bf4a82UL, 0xe2b87a14UL, 0x7bb12baeUL, 0x0cb61b38UL, 0x92d28e9bUL,
    0xe5d5be0dUL, 0x7cdcefb7UL, 0x0bdbdf21UL, 0x86d3d2d4UL, 0xf1d4e242UL,
    0x68ddb3f8UL, 0x1fda836eUL, 0x81be16cdUL, 0xf6b9265bUL, 0x6fb077e1UL,
    0x18b74777UL, 0x88085ae6UL, 0xff0f6a70UL, 0x66063bcaUL, 0x11010b5cUL,
    0x8f659effUL, 0xf862ae69UL, 0x616bffd3UL, 0x166ccf45UL, 0xa00ae278UL,
    0xd70dd2eeUL, 0x4e048354UL, 0x3903b3c2UL, 0xa7672661UL, 0xd06016f7UL,
    0x4969474dUL, 0x3e6e77dbUL, 0xaed16a4aUL, 0xd9d65adcUL, 0x40df0b66UL,
    0x37d83bf0UL, 0xa9bcae53UL, 0xdebb9ec5UL, 0x47b2cf7fUL, 0x30b5ffe9UL,
    0xbdbdf21cUL, 0xcabac28aUL, 0x53b39330UL, 0x24b4a3a6UL, 0xbad03605UL,
    0xcdd70693UL, 0x54de5729UL, 0x23d967bfUL, 0xb3667a2eUL, 0xc4614ab8UL,
    0x5d681b02UL, 0x2a6f2b94UL, 0xb40bbe37UL, 0xc30c8ea1UL, 0x5a05df1bUL,
    0x2d02ef8dUL
};


#define DO1 crc = crc_table[((int)crc ^ (*buf++)) & 0xff] ^ (crc >> 8)
#define DO8 DO1; DO1; DO1; DO1; DO1; DO1; DO1; DO1


unsigned long crc32(unsigned long crc, unsigned char *buf, size_t len)
{
    
    
    if (buf == NULL) return crc; //如果buf为NULL，就返回初始化值

    crc = crc ^ 0xffffffffUL;
    while (len >= 8) {
    
    
        DO8;
        len -= 8;
    }
    if (len) do {
    
    
        DO1;
    } while (--len);
    return crc ^ 0xffffffffUL;
}


int main(void)
{
    
    
    unsigned char buf[9] = {
    
    1, 2, 3, 4, 5, 6, 7, 8, 9};
    unsigned long crcValue = crc32(0, buf, 9);
    printf("crc32: %d\n", crcValue);
    
    return 0;
}

把test.c放到工程中的src目录下，并修改CMakeLists.txt，如下，也就是额外添加最后一行，

cmake_minimum_required(VERSION 3.5)

project(demoZLIB)

set (EXECUTABLE_OUTPUT_PATH  ${PROJECT_SOURCE_DIR}/bin)

add_definitions(-std=c99)

include_directories(${PROJECT_SOURCE_DIR}/zlib)

link_directories(${PROJECT_SOURCE_DIR}/zlib)

add_executable(main ${PROJECT_SOURCE_DIR}/src/main.c)
target_link_libraries(main libz.a)

add_executable(test ${PROJECT_SOURCE_DIR}/src/test.c)

整体工程结构如下，
在这里插入图片描述
同样，cd进入build目录，执行cmake .. && make，然后在bin目录下执行./test，打印如下，

可以看到算出的值和Python3的zlib.crc32()终于一样了！

四总结

本文主要讲述如何编写C代码计算crc32值，并使之和Python3的zlib.crc32()计算出的值一样，主要是参考zlib的c源码库。

如果有写的不对的地方，希望能留言指正，谢谢阅读。

一 Python3计算crc32

二 使用zlib的C库计算crc32

三 C代码实现相同crc32值

四 总结

猜你喜欢

二使用zlib的C库计算crc32

四总结