基于LSM的Key-Value数据库实现WAL篇

  上篇文章简单的实现了基于LSM数据库的初步版本,在该版本中如数据写入到内存表后但还未持久化到SSTable排序字符串表,此时正好程序崩溃,内存表中暂未持久化的数据将会丢失。

创新互联建站专注为客户提供全方位的互联网综合服务,包含不限于成都网站建设、成都网站制作、光山网络推广、重庆小程序开发、光山网络营销、光山企业策划、光山品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联建站为所有大学生创业者提供光山建站搭建服务,24小时服务热线:18982081108,官方网址:www.cdcxhl.com

引入WAL

  为了解决上述问题,将引入数据库中常用于解决类似问题的方法:WAL(Write Ahead Log)预写式日志——在计算机科学中,WAL(预写式日志)是数据库系统提供原子性和持久性的一系列技术;也就是说WAL用于保证数据操作的原子性和持久性;
  不同组件、数据库所使用的WAL实现也有所差异,MySQL、Sqlite、Postgresql、Etcd、Hbase、Zookeeper等都有自己的WAL机制实现;

  在MySQL中是通过Redo、Undo日志实现WAL,当MySQL崩溃后重启时,可以通过Redo重做日志对尚未持久化的操作进行Redo,Undo为撤销操作,MySQL崩溃后可时系统恢复一致的状态;
  在etcd中数据目录下有子目录:wal与snap,两个目录都是WAL机制所产生的;
  1、wal目录存放的数据是记录整个数据库变化过程,数据修改前都需先写WAL文件;
  2、Snap目录存放的是当etcd的wal文件过多是所生成的数据快照文件;

LSMDB的WAL机制实现

一、数据写入

  写入数据时先往WAL文件写入再将数据写入内存表,当内存表数据达到某个阈值进行数据持久化后,将WAL文件清空,此WAL只存储尚未持久化的数据;代码如下:

   /**
设置键值
  */
func (l *LSMStore) Set(key string, value string) {
  var cmd = &SetCommand{Command{1}, key, value}
  //写入wal
  writer := bufio.NewWriter(l.walFile)
  cmdBytes, _ := json2.Marshal(cmd)
  cmdLen, _ := IntToBytes(len(cmdBytes), 4)
  writer.Write(cmdLen)
  writer.Write(cmdBytes)
  err := writer.Flush()
  if err != nil {
    return
  }
  //写入内存表
  l.memoryTable.Put(key, cmd)
  if l.memoryTable.Size() > storeThreshold {
    l.switchTable()
    l.toSSTable()
  }
}

  与之前的区别只在于先写wal文件再写内存表,在switchTable方法中切换内存表的同时切换新旧WAL文件,用于保证与持久化内存表机制是一致的。持久化删除上一步所切换出来的WAL文件;

二、数据恢复

  程序每次启动时都会检查是否有WAL文件存在,如存在WAL则说明程序上一次时异常关闭退出,此时将加载WAL文件,并将WAL数据还原到内存表中;
在还原数据到内存表时还需检查内存表数据是否达到预设的阈值,超过则将其写入到持久化磁盘文件当中;

  上次留下的四大坑,此处填了一个坑,还有三大坑待解决:
  1、索引问题
  2、SSTable合并问题
  3、单机版本问题;


文章题目:基于LSM的Key-Value数据库实现WAL篇
当前网址:http://pwwzsj.com/article/dsoisjd.html