redis-bitmap在签到和统计状态项目中的妙用

繁星落眼眶 2020/9/11 5:03:51

一、使用redis-bitmap背景和优势1.项目背景最近做的需求中,有个每日签到功能,需要用户每日签到,并且统计累计签到了多少天等这样的信息。在思考项目方案的时候,最简单的就是mysql,记录下用户每天签到的数据,每个用户每天签到的时候都insert一条数据,利用mysql统计起…

一、使用redis-bitmap背景和优势

1.项目背景

  • 最近做的需求中,有个每日签到功能,需要用户每日签到,并且统计累计签到了多少天等这样的信息。
  • 在思考项目方案的时候,最简单的就是mysql,记录下用户每天签到的数据,每个用户每天签到的时候都insert一条数据,利用mysql统计起来也超级方便,然而;
  • 思考一个问题,一个用户一年的签到数据将是365条,如果用户数大的话,将是365*用户数这么多条记录,这些记录仅仅是一个状态数据,一个签到状态实际上用“1”或者“0”这样的数字就能完全表示出来,那么有没有更好更节省存储空间的方式呢?
  • 实际上,遇到这种只需要存储 “是”或者“否” 状态的数据的时候,可以尝试是否可以使用bitmap这种数据结构来存储数据。

2.什么是bitmap

  • bitmap可以想象成一个围棋盘这种点位阵,每个格子代表一个bit位,只能存储1或者0两种数据。
  • 因此,bitmap使用场景实际上就是只能存储“状态”类型数据,比如我们将在项目中用到的签到数据,因为签到状态只有两种,一种已签到可以用“1”表示,一种未签到可以用“0”表示。

3.bitmap优势

  • bitmap最大的优势就是可以存储海量数据并且快速检索到具体的数据。
  • 我们再回到之前说的签到功能的mysql方案,一个用户一天的签到数据包含uid、sign_status、created_at,最起码三个int类型字段,一个int类型是4个字节,三个int就是12个字节,也就是一个用户一天的数据最低占12个字节,千万用户一年的数据是1000w x 365 x 12=438000w字节=42773M,请记住这个42773M,是mysql存储占用的空间,大约41G。
  • 那么我们来计算一下用bitmap存储千万用户一年的数据占据多少空间。假如我们用户uid大部分是连续的,那么每天所有的用户签到数据都存在一个key,比如uid=1000的用户签到,就将这个key的第1000位设置为1,这样实际上所有用户一年的数据只有365条,一条数据保存1000w个bit,由于一个字节8个bit,就是125w字节,那么千万用户一年的数据是125w x 365=45625w字节=445M。
  • 以上,我们知道,使用mysql保存一年千万用户最低42773M空间,而使用bitmap保存一年千万用户最低445M,bitmap空间只占了mysql的1%,这个差别真的是天差地别。
  • 另外bitmap查询数据的时候,redis提供了相关命令可以直接统计一个key中有多少个1,也可以直接获取到具体那个位bit的值。
  • 其中,在一台2010MacBook Pro上,offset为2^32-1(分配512MB)需要~300ms,offset为2^30-1(分配128MB)需要~80ms,offset为2^28-1(分配32MB)需要~30ms,offset为2^26-1(分配8MB)需要8ms。所以查询某个位的值的时候速度也是相当快,redis中一个string类型的key限制不能超过512M。

二、redis-bitmap相关命令介绍

  1. Setbit

     语法:setbit key offset value
    
      描述:
    
        对key所储存的字符串值,设置或清除指定偏移量上的位(bit)。
    
        位的设置或清除取决于 `value` 参数,可以是 `0` 也可以是 `1` 。
    
        当 `key` 不存在时,自动生成一个新的字符串值。
    
        字符串会进行伸展(grown)以确保它可以将 `value` 保存在指定的偏移量上。当字符串值进行伸展时,空白位置以 `0` 填充。
    
     注意:
    
        `offset` 参数必须大于或等于 `0` ,小于 2^32 (bit 映射被限制在 512 MB 之内)。
    
        因为 Redis 字符串的大小被限制在 512 兆(megabytes)以内, 所以用户能够使用的最大偏移量为 2^29-1(536870911) , 如果你需要使用比这更大的空间, 请使用多个 `key。`
    
        当生成一个很长的字符串时, Redis 需要分配内存空间,  该操作有时候可能会造成服务器阻塞(block)。 在2010年出产的Macbook Pro上, 设置偏移量为 536870911(512MB  内存分配)将耗费约 300 毫秒, 设置偏移量为 134217728(128MB 内存分配)将耗费约 80 毫秒, 设置偏移量  33554432(32MB 内存分配)将耗费约 30 毫秒, 设置偏移量为 8388608(8MB 内存分配)将耗费约 8 毫秒。
  2. getbit

       语法:getbit key offset
    
       描述:
    
        对 key 所储存的字符串值,获取指定偏移量上的位(bit)。
    
        当 offset 比字符串值的长度大,或者 key 不存在时,返回 0
  3. bitcount

        语法:bitcount key [start] [end]
    
      返回值:被设置为 1 的位的数量
    
      描述:
    
        计算给定字符串中,被设置为 1 的比特位的数量
    
        一般情况下,给定的整个字符串都会被进行计数,通过指定额外的 start 或 end 参数,可以让计数只在特定的位上进行。
    
        start 和 end 参数的设置和 GETRANGE key start end 命令类似,都可以使用负数值: 比如 -1表示最后一个bit, -2 表示倒数第二个bit,以此类推。
    
        不存在的 key 被当成是空字符串来处理,因此对一个不存在的 key 进行 BITCOUNT 操作,结果为 0 。
  4. bitpos

       语法: bitpos key bit [start] [end] 
         
      返回值:返回字符串里面第一个被设置为1或者0的bit位。
    
      描述:
    
        返回一个位置,把字符串当做一个从左到右的字节数组,第一个符合条件的在位置0,其次在位置8,等等。
    
        默认情况下整个字符串都会被检索一次,只有在指定start和end参数(指定start和end位是可行的),该范围被解释为一个字节的范围,而不是一系列的位。所以start=0 并且 end=2是指前三个字节范围内查找。
  5. bitop

       语法:bitop operation destkey key [key ...]
    
        operation 可以是 AND 、 OR 、 NOT 、 XOR 这四种操作中的任意一种:
    
              BITOP AND destkey key [key ...] ,对一个或多个 key 求逻辑并,并将结果保存到 destkey 。
              BITOP OR destkey key [key ...] ,对一个或多个 key 求逻辑或,并将结果保存到 destkey 。
              BITOP XOR destkey key [key ...] ,对一个或多个 key 求逻辑异或,并将结果保存到 destkey 。
              BITOP NOT destkey key ,对给定 key 求逻辑非,并将结果保存到 destkey 。
    
        除了 NOT 操作之外,其他操作都可以接受一个或多个 key 作为输入。    
    
      返回值:保存到 destkey 的字符串的长度,和输入 key 中最长的字符串长度相等
    
      描述:
    
        对一个或多个保存二进制位的字符串 key 进行位元操作,并将结果保存到 destkey 上。
    
      注意:处理不同长度的字符串
    
        当 BITOP 处理不同长度的字符串时,较短的那个字符串所缺少的部分会被看作 0 。
    
        空的 key 也被看作是包含 0 的字符串序列。
  6. bitfield

       语法:bitfield key [GET type offset] [SET type offset value] [INCRBY type offset increment] [OVERFLOW WRAP|SAT|FAIL]
    
         
    
      描述:
    
        该命令将 Redis 字符串视为一个位数组,并且能够处理具有不同位宽和任意非(必要)对齐偏移量的特定整数字段。
        实际上,使用此命令可以将位偏移量为1234的带符号5位整数设置为特定值,从偏移量4567中检索31位无符号整数。类似地,该命令处理指定整数的递增和递减,提供保证和良好指定的溢出和下溢行为,用户可以配置。
    
      注意:详情可以查看文章:https://cloud.tencent.com/developer/section/1374165

三、bitmap应用场景

1.用户每日签到

  • 用户每日签到,可以使用redis-bitmap,关于key的保存方式,有不同方案,一种是一个key保存一天内所有用户的签到状态,这种方式注意,如果大部分签到的用户uid并不连续,那么整个key看到将会有大量的00000000,只有零星的1,所以这种方式适用于连续uid数据保存;
  • 另一种key存值方式,就是以key=uid_year_month保存一个用户一个月的签到数据,这种适合用户量少的方式。

2.统计用户活跃用户

  • 使用时间作为key,用户uid作为offset,活跃过就设置为1
  • 遇到同样的问题,就是uid不连续怎么办?
  • 这种方式可以考虑分片保存:例如uid对1000取模得到的数都是小于1000的,uid小于1000的作为分片1,uid在1000~2000作为分片2,那么可以设置key=分片id,具体的位就是uid对1000取模得到的值,这样保存的时候只是需要先确定当前uid在哪个分片即可。

四、思考及其他注意的点

  1. 具体的bitmap保存方式,要尽量考虑自己业务情况,通过计算具体哪种方式保存更节省空间来确定。
  2. redis中一个key限制不能大于512M,bit位个数尽量小于2^29-1(536870911),大约5亿,别最后超限制了。
随时随地学软件编程-关注百度小程序和微信小程序
关于找一找教程网

本站文章仅代表作者观点,不代表本站立场,所有文章非营利性免费分享。
本站提供了软件编程、网站开发技术、服务器运维、人工智能等等IT技术文章,希望广大程序员努力学习,让我们用科技改变世界。
[redis-bitmap在签到和统计状态项目中的妙用]http://www.zyiz.net/tech/detail-146894.html

上一篇:Redis 事务详解

下一篇:Bug!Redis 6.0.8紧急发布,请尽快升级!

赞(0)

共有 条评论 网友评论

验证码: 看不清楚?
    关注微信小程序
    程序员编程王-随时随地学编程

    扫描二维码或查找【程序员编程王】

    可以随时随地学编程啦!

    技术文章导航 更多>
    扫一扫关注最新编程教程