批量处理生产者聚合了一批消息，然后再做2次rpc将消息存入broker（ack） 客户端优化采用了双线程：主线程和Sender线程。主线程负责将消息置入客户端缓存，Sender线程负责从缓存中发送消息，而这个缓存会聚合多个消息为一个批次 日志格式https://guosmilesmile.githu ...

Trie 树的简介Trie 树中文名叫字典树、前缀树等等。这些名字暗示其与字符的处理有关，事实也确实如此，它主要用途就是将字符串（当然也可以不限于字符串）整合成树形。我们先来看一下由“清华”、“清华大学”、“清新”、“中华”、“华人”五个中文词构成的 Trie 树形（为了便于叙述，下文提到该实例，以 ...

作业图(JobGraph)作业图(JobGraph)是唯一被Flink的数据流引擎所识别的表述作业的数据结构，也正是这一共同的抽象体现了流处理和批处理在运行时的统一。 作业顶点(JobVertex)、中间数据集(IntermediateDataSet)、作业边(JobEdge)是组成JobGraph ...

env.execute(); StreamContextEnvironmentpublic JobExecutionResult execute(String jobName) throws Exception { Preconditions.checkNotNull("Streami ...

Blocks 是物理分区而 input splits 是逻辑分区，一个input splits可以对应多个物理block。当提交一个hadoop任务的时候，会将输入数据逻辑切分交给每个Mapper task. Mapper的数量与切分的数据是一致的. 很重要的一点，InputSplit 不储存真实的 ...

FlatMap为例public <R> SingleOutputStreamOperator<R> flatMap(FlatMapFunction<T, R> flatMapper) { TypeInformation<R> outTyp ...

FileInputFormat.java主要是createInputSplits这个函数 源码中会得到文件系统(这里会得到HDFS)，和文件的总大小。然后考虑了输入文件时文件夹，输入文件不可切分等情况，然后根据HDFS的分块(block)大小，文件总大小和Source的并行度来计算每个split的大 ...

可借鉴系统巡检系统 机器层面的巡检（巡检机器质量，有点类似于监控，但是不是粗粒度的直接报警，而是根据规则后的收敛报警） 变更巡检系统（升级前后的指标巡检，模式可以 关键指标在发布后一小时、两小时、十二小时，昨天同期时间等做对比，进行趋势检查、cpu、内存、响应时间、状态码、上下游关键指标来作为参考） ...

zookeeper选举FastLeaderElection服务器状态 LOOKING 不确定Leader状态。该状态下的服务器认为当前集群中没有Leader，会发起Leader选举 FOLLOWING 跟随者状态。表明当前服务器角色是Follower，并且它知道Leader是谁 LEADING 领导 ...

java 向上转型和向下转型 向上转型：子类对象转为父类，父类可以是接口。公式：Father f = new Son();Father是父类或接口，son是子类。 向下转型：父类对象转为子类。公式：Son s = (Son)f; 向上转型没有什么好说的，就是多态，看下向下转型。public cla ...