标签: Rockset
Rockset：将 RocksDB 数据存储到S3上
本文由原作者归档自知乎，原文发布于 2022-12-10。原文链接：Rockset：将 RocksDB 数据存储到S3上。 本文要介绍的是基于RocksDB改造的rocksdb-cloud项目。 首先，可以看下官方的example，这个example展示了如何读写数据，以及如何在无感知的情况下将SST文件上传到S3上。 本人对这段代码进行了debug，并进行深入研究，上传到S3的奥秘如下 实现的方法很巧妙，在执行Mem Table Flush的时候，先将文件写到本地，等RocksDB调用 …
本文由原作者归档自知乎，原文发布于 2022-12-10。原文链接：Rockset：将 RocksDB 数据存储到S3上。 本文要介绍的是基于RocksDB改造的rocksdb-cloud项目。 首先，可以看下官方的example，这个example展示了如何读写数据，以及如何在无感知的情况下将SST文件上传到S3上。 本人对这段代码进行了debug，并进行深入研究，上传到S3的奥秘如下 实现的方法很巧妙，在执行Mem Table Flush的时候，先将文件写到本地，等RocksDB调用 …
Rockset： 源码编译
本文由原作者归档自知乎，原文发布于 2022-03-12。原文链接：Rockset： 源码编译。 说明 官方README.md里面已经有详细的编译说明了。值得注意的是：编译之前要先安装aws的sdk，并且要求安装到/usr/local目录下。为了支持存储到s3上，需要在环境变量里面配置USE_AWS=1。 编译 aws-sdk-cpp 此处建议使用rockset fork出来的仓库，因为aws官方仓库会不断更新，有可能导致rockset不兼容高版本sdk。 本人编译时就发现 …
本文由原作者归档自知乎，原文发布于 2022-03-12。原文链接：Rockset： 源码编译。 说明 官方README.md里面已经有详细的编译说明了。值得注意的是：编译之前要先安装aws的sdk，并且要求安装到/usr/local目录下。为了支持存储到s3上，需要在环境变量里面配置USE_AWS=1。 编译 aws-sdk-cpp 此处建议使用rockset fork出来的仓库，因为aws官方仓库会不断更新，有可能导致rockset不兼容高版本sdk。 本人编译时就发现 …