设计推送系统


和普通Web应用不同的是,基于Servlet的线程池模型不能高效地支持成百上千的WebSocket长连接。Java提供了NIO能充分利用Linux系统的epoll机制高效支持大量的长连接,但是直接使用NIO的接口非常繁琐,通常我们会选择基于NIO的服务器。直接使用Netty其实仍然比较繁琐,基于Netty开发我们可以选择:

  • Spring WebFlux:封装了Netty并实现Reactive接口;
  • Vert.x:封装了Netty并提供简单的API接口。

这里我们选择Vert.x,因为它的API更简单。

Vert.x本身包含若干模块,根据需要,我们引入3个组件:

我们先编写推送服务的入口:

  1. @SpringBootApplication
  2. // 禁用数据库自动配置 (无DataSource, JdbcTemplate...)
  3. @EnableAutoConfiguration(exclude = DataSourceAutoConfiguration.class)
  4. public class PushApplication {
  5. public static void main(String[] args) {
  6. System.setProperty("vertx.disableFileCPResolving", "true");
  7. System.setProperty("vertx.logger-delegate-factory-class-name", "io.vertx.core.logging.SLF4JLogDelegateFactory");
  8. SpringApplication app = new SpringApplication(PushApplication.class);
  9. // 禁用Spring的Web:
  10. app.setWebApplicationType(WebApplicationType.NONE);
  11. app.run(args);
  12. }
  13. }

上述代码仍然是一个标准的Spring Boot应用,因为我们希望利用Spring Cloud Config读取配置。由于我们不使用Spring自身的Web功能,因此需要禁用Spring的Web功能。推送服务本身并不需要访问数据库,因此禁用数据库自动配置。最后,我们把PushApplication放在com.itranswarp.exchange.push包下面,以避免自动扫描到com.itranswarp.exchange包下的组件(如RedisService)。

下一步是编写PushService,注意它是一个Spring组件,由Spring初始化:

由Spring初始化该组件的目的是注入各种配置。在初始化方法中,我们就可以启动Vert.x:

  1. @PostConstruct
  2. public void startVertx() {
  3. // 启动Vert.x:
  4. this.vertx = Vertx.vertx();
  5. // 创建一个Vert.x Verticle组件:
  6. var push = new PushVerticle(this.hmacKey, this.serverPort);
  7. vertx.deployVerticle(push);
  8. // 连接到Redis:
  9. String url = "redis://" + (this.redisPassword.isEmpty() ? "" : ":" + this.redisPassword + "@") + this.redisHost
  10. + ":" + this.redisPort + "/" + this.redisDatabase;
  11. Redis redis = Redis.createClient(vertx, url);
  12. redis.connect().onSuccess(conn -> {
  13. // 事件处理:
  14. conn.handler(response -> {
  15. // 收到Redis的PUSH:
  16. if (response.type() == ResponseType.PUSH) {
  17. int size = response.size();
  18. if (size == 3) {
  19. Response type = response.get(2);
  20. // 收到PUBLISH通知:
  21. String msg = type.toString();
  22. // 由push verticle组件处理该通知:
  23. push.broadcast(msg);
  24. }
  25. }
  26. });
  27. // 订阅Redis的Topic:
  28. conn.send(Request.cmd(Command.SUBSCRIBE).arg(RedisCache.Topic.NOTIFICATION)).onSuccess(resp -> {
  29. logger.info("subscribe ok.");
  30. }).onFailure(err -> {
  31. logger.error("subscribe failed.", err);
  32. System.exit(1);
  33. });
  34. }).onFailure(err -> {
  35. logger.error("connect to redis failed.", err);
  36. System.exit(1);
  37. });
  38. }

Vert.x用Verticle表示一个组件,我们编写PushVerticle来处理WebSocket连接:

PushVerticle中,start()方法由Vert.x回调。我们在start()方法中主要干这么几件事:

  1. 创建基于Vert.x的HTTP服务器(内部使用Netty);
  2. 创建路由;
  3. 绑定一个路径为/notification的GET请求,将其升级为WebSocket连接;
  4. 绑定其他路径的GET请求;
  5. 开始监听指定端口号。

在处理/notification时,我们尝试从URL的token参数解析出用户ID,这样我们就无需访问数据库而获得了当前连接的用户。升级到WebSocket连接后,再调用initWebSocket()继续处理WebSocket连接:

  1. public class PushVerticle extends AbstractVerticle {
  2. // 所有Handler:
  3. Map<String, Boolean> handlersSet = new ConcurrentHashMap<>(1000);
  4. // 用户ID -> Handlers
  5. Map<Long, Set<String>> userToHandlersMap = new ConcurrentHashMap<>(1000);
  6. // Handler -> 用户ID
  7. Map<String, Long> handlerToUserMap = new ConcurrentHashMap<>(1000);
  8. void initWebSocket(ServerWebSocket websocket, Long userId) {
  9. // 获取一个WebSocket关联的Handler ID:
  10. String handlerId = websocket.textHandlerID();
  11. // 处理输入消息:
  12. websocket.textMessageHandler(str -> {
  13. logger.info("text message: " + str);
  14. });
  15. logger.error("websocket error: " + t.getMessage(), t);
  16. });
  17. // 关闭连接时:
  18. websocket.closeHandler(e -> {
  19. unsubscribeClient(handlerId);
  20. unsubscribeUser(handlerId, userId);
  21. subscribeClient(handlerId);
  22. subscribeUser(handlerId, userId);
  23. }
  24. void subscribeClient(String handlerId) {
  25. this.handlersSet.put(handlerId, Boolean.TRUE);
  26. }
  27. void unsubscribeClient(String handlerId) {
  28. this.handlersSet.remove(handlerId);
  29. }
  30. void subscribeUser(String handlerId, Long userId) {
  31. if (userId == null) {
  32. return;
  33. }
  34. handlerToUserMap.put(handlerId, userId);
  35. Set<String> set = userToHandlersMap.get(userId);
  36. if (set == null) {
  37. set = new HashSet<>();
  38. userToHandlersMap.put(userId, set);
  39. }
  40. set.add(handlerId);
  41. }
  42. void unsubscribeUser(String handlerId, Long userId) {
  43. if (userId == null) {
  44. return;
  45. }
  46. handlerToUserMap.remove(handlerId);
  47. Set<String> set = userToHandlersMap.get(userId);
  48. if (set != null) {
  49. set.remove(handlerId);
  50. }
  51. }

在Vert.x中,每个WebSocket连接都有一个唯一的Handler标识,以String表示。我们用几个Map保存Handler和用户ID的映射关系,当关闭连接时,将对应的映射关系删除。

最后一个关键方法broadcast()PushService中订阅的Redis推送时触发,该方法用于向用户主动推送通知:

当Redis收到PUBLISH调用后,它自动将String表示的JSON数据推送给所有订阅端。我们在PushService中订阅了notification这个Topic,然后通过broadcast()推送给WebSocket客户端。对于一个NotificationMessage,如果设置了,则推送给指定用户,适用于订单成交等针对用户ID的通知;如果没有设置userId,则推送给所有用户,适用于公开市场信息的推送。

整个推送服务仅包括3个Java文件,我们就实现了基于Redis和WebSocket的高性能推送。

可以从GitHub或下载源码。

GitHub ▸ ▸ warpexchange

▸ build)

)

▤ schema.sql)

)

▤ pom.xml)

)

▸ src/main)

)

▸ bean)

)

▤ OrderBookBean.java)

)

▤ OrderRequestBean.java)

)

▤ TransferRequestBean.java)

)

▸ client)

)

▸ config)

)

▸ ctx)

)

▸ db)

)

▤ Criteria.java)

)

▤ DbTemplate.java)

)

▤ Limit.java)

)

▤ OrderBy.java)

)

▤ Where.java)

)

▤ AssetEnum.java)

)

▤ ClearingType.java)

)

▤ MatchType.java)

)

▤ UserType.java)

)

▸ event)

)

▤ OrderCancelEvent.java)

)

▤ TransferEvent.java)

)

▤ ApiResultMessage.java)

)

▤ TickMessage.java)

)

▤ BatchMessageHandler.java)

)

▤ MessageProducer.java)

)

▤ Messaging.java)

)

▤ MessagingFactory.java)

)

▸ quotation)

)

▤ MinBarEntity.java)

)

▤ TickEntity.java)

)

▤ AbstractBarEntity.java)

)

▸ trade)

)

▤ EventEntity.java)

)

▤ OrderEntity.java)

)

▤ UniqueEventEntity.java)

)

▤ ApiKeyAuthEntity.java)

)

▤ UserEntity.java)

)

▸ redis)

)

▤ RedisConfiguration.java)

)

▤ SyncCommandCallback.java)

)

▤ AbstractApiController.java)

)

▤ AbstractFilter.java)

)

▸ user)

)

▸ util)

)

▤ ClassPathUtil.java)

)

▤ IdUtil.java)

)

▤ JsonUtil.java)

)

▤ ApiError.java)

)

▤ ApiException.java)

)

▸ redis)

)

▤ update-orderbook.lua)

)

▤ logback-spring.xml)

)

▸ config)

)

▸ java/com/itranswarp/exchange/config)

)

▸ resources)

)

▤ pom.xml)

)

▤ application-default.yml)

)

▤ application.yml)

)

▤ quotation.yml)

)

▤ trading-engine.yml)

)

▤ ui-default.yml)

)

▸ parent)

)

▸ push)

)

▸ java/com/itranswarp/exchange/push)

)

▤ PushService.java)

)

▸ resources)

)

▤ pom.xml)

)

▸ java/com/itranswarp/exchange)

)

▤ QuotationDbService.java)

)

▤ QuotationApplication.java)

)

▤ application.yml)

)

▸ trading-api)

)

▸ java/com/itranswarp/exchange)

)

▤ HistoryService.java)

)

▤ TradingEngineApiProxyService.java)

)

▸ api)

)

▤ TradingInternalApiController.java)

)

▤ TradingApiApplication.java)

)

▤ application.yml)

)

▸ trading-engine)

)

▸ main)

)

▸ assets)

)

▤ AssetService.java)

)

▸ clearing)

)

▸ match)

)

▤ MatchEngine.java)

)

▤ OrderBook.java)

)

▸ order)

)

▸ store)

)

▸ web/api)

)

▤ TradingEngineApplication.java)

)

▸ resources)

)

▸ test/java/com/itranswarp/exchange)

)

▤ AssetServiceTest.java)

)

▤ MatchEngineTest.java)

)

▤ pom.xml)

)

▸ src/main)

)

▸ sequencer)

)

▤ SequenceService.java)

)

▸ resources)

)

▤ pom.xml)

)

▸ src/main)

)

▤ UIApplication.java)

)

▤ application.yml)

)

▤ .gitignore)

)

▤ README.md)

要高效处理大量WebSocket连接,我们选择基于Netty的Vert.x框架,可以通过少量代码配合Redis实现推送。