停服扩容 停止服务 新建2*n个新库,并做好高可用 进行数据迁移,把数据从n个库里select出来,insert到2*n个库里;(耗时最长) 修改微服务的数据库路由配置,模n变为模2*n; 微服务重启,连接新库重新对外提供服务; 平滑扩容前提每台db都有一个salve,作为高可用也好,扩容也好 ...
BitMap和布隆过滤器(BloomFilter)
BitMap介绍Bitmap 也称之为 Bitset,它本质上是定义了一个很大的 bit 数组,每个元素对应到 bit 数组的其中一位。 例如有一个集合[2,3,5,8]对应的 Bitmap 数组是[001101001],集合中的 2 对应到数组 index 为 2 的位置,3 对应到 index ...
Flink Process Function
ProcessFunction是一个低层次的流处理操作,可以认为是能够访问到keyed state和timers的FlatMapFunction,输入流中接收到的每个事件都会调用它来处理。对于容错性状态,ProcessFunction可以通过RuntimeContext来访问Flink的keyed ...
Flink 使用调优(一)
flink任务调度 Flink中的执行资源通过任务槽(Task Slots)定义。每个TaskManager都有一个或多个任务槽,每个槽都可以运行一个并行任务管道(pipeline)。管道由多个连续的任务组成,例如第n个MapFunction并行实例和第n个ReduceFunction并行实例。Fl ...
spring初始化 和 ClassLoad类加载
public class Test2 implements InitializingBean { @Autowired private Test1 test1; private int i; public Test2() { System.o ...
clickhouse join和并发测试
集群规模 机器数量 内存大小 6台 40G 数据规模 数据名称 数据量 总数据量 时间范围 数据A 3千万(每天) 9千万 3天 数据B 6亿(每天) 18亿 3天 测试场景 通过数据A查出一定时间范围内的条件a数据,作为数据B的查询条件,大约4k 以时 ...
Flink 异步io
流程异步io就是将一条条的记录同步与外部系统交互,变成并发的访问外部io。并不会将整个拓扑的次序打乱。 重要提示ResultFuture在第一次通话时完成ResultFuture.complete。所有后续complete调用都将被忽略。 参数 超时:超时定义异步请求在被视为失败之前可能需要多长时 ...