重学SpringBoot3-集成Redis（十）之实时统计和分析

重学SpringBoot3-集成Redis（十）之实时统计和分析

CoderJia 5 2024-10-09

在现代的分布式系统中，实时统计和分析功能变得越来越重要，尤其是在大数据场景下。实时数据的获取和处理对于业务决策、用户行为分析以及系统性能监控都至关重要。Redis 作为高性能的内存数据库，不仅支持快速的读写操作，还具备多种数据结构，使其成为实时统计和分析场景的理想选择。

在本篇文章中，我们将介绍如何通过 Spring Boot 3 和 Redis 来实现实时统计和分析功能，并演示如何利用 Redis 的数据结构高效地处理实时数据。

1. 实时统计和分析的常见场景

实时统计和分析可以应用在各种场景中，包括但不限于以下几类：

  1. 实时用户访问统计：统计网站或应用的 PV（Page View）和 UV（Unique Visitor）等指标。
  2. 热点数据监控：监控热门商品或新闻的点击量。
  3. 系统性能监控：统计请求数量、错误率等实时监控指标。
  4. 用户行为分析：分析用户的实时操作行为，比如搜索、点击等。

在这些场景中，我们都需要快速收集、统计并分析数据，而 Redis 的数据结构能够很好地满足这些需求。

2. 使用 Redis 数据结构进行实时统计

Redis 支持多种数据结构，其中有些特别适合做实时统计和分析，比如：

  • String：用于简单的计数器。
  • Hash：用于存储多字段的统计数据。
  • HyperLogLog：用于快速估算去重后的数据量，比如 UV 统计。
  • Sorted Set：用于排序的统计场景，比如排行榜。

SptingBoot3 整合 Redis 过程见：重学SpringBoot3-集成Redis（一）基本使用。

3. 使用Redis String实现计数器

String 是 Redis 中最简单的数据结构，可以用于实现实时计数功能，比如统计页面的访问次数（PV）。

3.1. 实现步骤

  1. 每当用户访问页面时，递增计数器。
  2. 可以定期获取计数器的值，生成实时统计报告。
package com.coderjia.boot310redis.service;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Service;

/**
 * @author CoderJia
 * @create 2024/10/7 下午 09:12
 * @Description
 **/
@Service
public class PageViewService {

    @Autowired
    private StringRedisTemplate redisTemplate;

    private static final String PAGE_VIEW_KEY = "pageView";

    // 记录页面访问次数
    public void incrementPageView() {
        redisTemplate.opsForValue().increment(PAGE_VIEW_KEY);
        System.out.println("Page view incremented.");
    }

    // 获取当前页面访问次数
    public long getPageViewCount() {
        String count = redisTemplate.opsForValue().get(PAGE_VIEW_KEY);
        return count == null ? 0 : Long.parseLong(count);
    }
}

3.2. 使用说明

  • incrementPageView() 方法每次调用时，页面访问量加 1。
  • getPageViewCount() 可以随时获取当前的页面访问量，实现实时统计。

3.3. 演示

image-20241007214432085

image-20241007214516833

4. 使用Redis HyperLogLog进行 UV 统计

HyperLogLog 是 Redis 提供的一个特殊的数据结构，用于统计去重后的数据量，比如用户访问量（UV）。它能够以非常小的内存代价快速估算数据的基数（即去重后的数量）。

4.1. 实现步骤

  1. 每次用户访问时，向 HyperLogLog 中添加用户标识。
  2. Redis 自动去重并估算唯一用户数量。
package com.coderjia.boot310redis.service;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Service;

/**
 * @author CoderJia
 * @create 2024/10/7 下午 09:12
 * @Description
 **/
@Service
public class UniqueVisitorService {

    @Autowired
    private StringRedisTemplate redisTemplate;

    private static final String UV_KEY = "uniqueVisitors";

    // 添加用户访问记录
    public void addUniqueVisitor(String userId) {
        redisTemplate.opsForHyperLogLog().add(UV_KEY, userId);
        System.out.println("Added user " + userId + " to unique visitors.");
    }

    // 获取唯一访客数量
    public long getUniqueVisitorCount() {
        return redisTemplate.opsForHyperLogLog().size(UV_KEY);
    }
}

4.2. 使用说明

  • addUniqueVisitor(String userId) 方法用于记录用户访问，将用户 ID 添加到 HyperLogLog 中。
  • getUniqueVisitorCount() 方法返回去重后的用户数量，实现 UV 统计。

4.3. 演示

image-20241007214912614

image-20241007214954758

5. 使用Redis Sorted Set实现排行榜

对于热点商品、新闻或者高频用户操作的统计，我们可以使用 Redis 的 Sorted Set 数据结构。Sorted Set 不仅可以存储元素，还能根据元素的 score 进行排序，非常适合用来做排行榜等统计分析。

5.1. 实现步骤

  1. 每当用户进行某项操作（如点赞），我们将该操作对应的数据存入 Sorted Set 中。
  2. 使用 Sorted Set 的排序特性，我们可以实时获取操作排行榜。
package com.coderjia.boot310redis.service;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Service;

import java.util.Set;

/**
 * @author CoderJia
 * @create 2024/10/7 下午 09:13
 * @Description
 **/
@Service
public class LeaderboardService {

    @Autowired
    private StringRedisTemplate redisTemplate;

    private static final String LEADERBOARD_KEY = "leaderboard";

    // 增加用户得分
    public void incrementScore(String userId, double score) {
        redisTemplate.opsForZSet().incrementScore(LEADERBOARD_KEY, userId, score);
        System.out.println("Incremented score for user " + userId + " by " + score);
    }

    // 获取前N名用户
    public Set<String> getTopUsers(int n) {
        return redisTemplate.opsForZSet().reverseRange(LEADERBOARD_KEY, 0, n - 1);
    }
}

5.2. 使用说明

  • incrementScore(String userId, double score) 方法用于增加用户的得分，并自动排序。
  • getTopUsers(int n) 方法返回排行榜的前 N 名用户，实现实时的排行榜功能。

5.3. 演示

image-20241007230043801

image-20241007230212929

6. 使用Redis Hash实现多维度数据统计

Hash 是 Redis 中类似于字典的数据结构，非常适合存储和操作多字段的数据。我们可以使用 Hash 实现多维度的统计分析。

6.1. 示例场景

假设我们想统计用户在某个应用中的多个操作维度（如登录次数、点击次数、购买次数等），可以将这些维度存储在 Redis 的 Hash 中。

package com.coderjia.boot310redis.service;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Service;

import java.util.Map;

/**
 * @author CoderJia
 * @create 2024/10/7 下午 09:13
 * @Description
 **/
@Service
public class UserActionService {

    @Autowired
    private StringRedisTemplate redisTemplate;

    private static final String USER_ACTION_KEY = "userActions";

    // 增加某个用户的某个操作统计
    public void incrementAction(String userId, String actionType) {
        redisTemplate.opsForHash().increment(USER_ACTION_KEY + ":" + userId, actionType, 1);
        System.out.println("Incremented action " + actionType + " for user " + userId);
    }

    // 获取某个用户的所有操作统计
    public Map<Object, Object> getUserActions(String userId) {
        return redisTemplate.opsForHash().entries(USER_ACTION_KEY + ":" + userId);
    }
}

6.2. 使用说明

  • incrementAction(String userId, String actionType) 方法用于增加用户在某个操作维度上的统计数据。
  • getUserActions(String userId) 方法返回用户的所有操作维度数据，实现多维度的统计分析。

6.3. 演示

image-20241007230557372

image-20241007230654747

7. 总结

通过 Redis 的各种数据结构，我们可以轻松实现实时统计和分析功能。无论是简单的计数器、去重统计、排行榜，还是多维度的数据统计，Redis 都提供了灵活高效的解决方案。与 Spring Boot 3 的结合，使得这些操作变得更加简洁和高效。

如果这篇文章对你有所帮助，欢迎分享给更多的开发者。你还可以在评论区分享你在实际项目中遇到的相关问题或经验，让我们共同探讨 Redis 的更多应用场景！

SpringBoot3