DolphinDB使用案例3:大数据压缩

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接: https://blog.csdn.net/The_Time_Runner/article/details/102679400
  • DolphinDB使用LZ4算法进行数据压缩,把大数据表压缩保存。

    db=database("D:/DolphinDB/Data/db1")
    n=10000000
    t=table(take(1..10000, n).sort() as id, take(2000.12.31+1..1000, n) as date, rand(10, n) as x, rand(10.0, n) as y)
    saveTable(db, t, `t1)
    saveTable(db, t, `t3, 0, 1) // appending mode is off; compression mode is on.
    

    压缩后,t1表的190M称为t3表的90M。

  • LZ4算法

    参见《量化新手初识LZ4压缩算法

  • saveTable()保存表到数据库的函数

    saveTable(dbHandle, table, [tableName], [append=false], [compression=false])
    
    参数 意义 备注
    dbHandle 一个数据库句柄
    table 将要被保存的内存中的表
    tablename 要保存的表的名称。 如果未指定,则于内存中的表名称相同。
    需要用反引号`或双引号""引用
    appending 追加模式 true:新的表会被追加到旧的表之后;
    false:默认
    compression 压缩模式 true:表以压缩模式保存到磁盘中;
    false:默认
  • 举例

    # Save table t to disk:
    saveTable(db, t);
    # Save table t to disk with name t1:
    saveTable(db, t, `t1);
    # Save table t to disk with name t2 and with appending mode:
    saveTable(db, t, `t2, 1);
    # Save table t to disk with name t3 and with compression mode:
    saveTable(db, t, `t3, 0, 1);
    

猜你喜欢

转载自blog.csdn.net/The_Time_Runner/article/details/102679400