Pray

人肉排渣工程师,擅长排渣数据,服务器排渣


  • 首页

  • 分类

  • 归档

分库分表的数据库如何进行数据迁移

发表于 2019-05-18 | 更新于 2019-06-12 | 分类于 大数据

停服扩容 停止服务 新建2*n个新库,并做好高可用 进行数据迁移,把数据从n个库里select出来,insert到2*n个库里;(耗时最长) 修改微服务的数据库路由配置,模n变为模2*n; 微服务重启,连接新库重新对外提供服务; 平滑扩容前提每台db都有一个salve,作为高可用也好,扩容也好 ...

阅读全文 »

缓存介绍

发表于 2019-05-18 | 更新于 2019-06-12 | 分类于 大数据

简单缓存逻辑 缓存穿透如果去请求一条不存在的key,那么缓存和数据库都不存在这条记录,每次请求都会打到数据库上,这叫做缓存穿透(可以用来攻击)。 避免 缓存空值可以为这些key对应的值设置为null 丢到缓存里面去。后面再出现查询这个key 的请求的时候,直接返回null 。 BloomFilter ...

阅读全文 »

压缩算法

发表于 2019-05-18 | 更新于 2019-06-12 | 分类于 大数据

常见压缩算法 Algorithm % remaining Encoding Decoding GZIP 13.4% 21 MB/s 118 MB/s LZO 20.5% 135 MB/s 410 MB/s Zippy/Snappy 22.2% 172 MB/s 409 MB/s ...

阅读全文 »

BitMap和布隆过滤器(BloomFilter)

发表于 2019-05-10 | 更新于 2019-05-17 | 分类于 Java

BitMap介绍Bitmap 也称之为 Bitset,它本质上是定义了一个很大的 bit 数组,每个元素对应到 bit 数组的其中一位。 例如有一个集合[2,3,5,8]对应的 Bitmap 数组是[001101001],集合中的 2 对应到数组 index 为 2 的位置,3 对应到 index ...

阅读全文 »

线上排查cpu高

发表于 2019-05-03 | 更新于 2019-07-18 | 分类于 Java

查消耗cpu最高的进程PID top -c 按P,进程按照cpu使用率排序 根据PID查出消耗cpu最高的线程号 top -Hp 进程号 按P,进程按照cpu使用率排序 将最高的十进制线程号转为十六进制 根据线程号查出对应的java线程,进行处理 jstack -l pid > pid.t ...

阅读全文 »

Flink Process Function

发表于 2019-05-01 | 更新于 2019-06-12 | 分类于 Flink

ProcessFunction是一个低层次的流处理操作,可以认为是能够访问到keyed state和timers的FlatMapFunction,输入流中接收到的每个事件都会调用它来处理。对于容错性状态,ProcessFunction可以通过RuntimeContext来访问Flink的keyed ...

阅读全文 »

Flink 使用调优(一)

发表于 2019-04-26 | 更新于 2019-07-27 | 分类于 Flink

flink任务调度 Flink中的执行资源通过任务槽(Task Slots)定义。每个TaskManager都有一个或多个任务槽,每个槽都可以运行一个并行任务管道(pipeline)。管道由多个连续的任务组成,例如第n个MapFunction并行实例和第n个ReduceFunction并行实例。Fl ...

阅读全文 »

spring初始化 和 ClassLoad类加载

发表于 2019-04-20 | 分类于 Java

public class Test2 implements InitializingBean { @Autowired private Test1 test1; private int i; public Test2() { System.o ...

阅读全文 »

clickhouse join和并发测试

发表于 2019-04-14 | 更新于 2019-04-18 | 分类于 clickhouse

集群规模 机器数量 内存大小 6台 40G 数据规模 数据名称 数据量 总数据量 时间范围 数据A 3千万(每天) 9千万 3天 数据B 6亿(每天) 18亿 3天 测试场景 通过数据A查出一定时间范围内的条件a数据,作为数据B的查询条件,大约4k 以时 ...

阅读全文 »

Flink 异步io

发表于 2019-04-05 | 更新于 2019-06-11 | 分类于 Flink

流程异步io就是将一条条的记录同步与外部系统交互,变成并发的访问外部io。并不会将整个拓扑的次序打乱。 重要提示ResultFuture在第一次通话时完成ResultFuture.complete。所有后续complete调用都将被忽略。 参数 超时:超时定义异步请求在被视为失败之前可能需要多长时 ...

阅读全文 »
1…111213…15
笑笑

笑笑

142 日志
15 分类
© 2021 笑笑
由 Hexo 强力驱动 v3.8.0
|
主题 – NexT.Pisces v7.0.1
|