Kafka在什么场景下使用该技术使用Zero copy方式在内核层直接将文件内容传送给网络Socket，避免应用层数据拷贝，减小IO开销。 消息消费的时候 包括外部Consumer以及Follower 从partiton Leader同步数据，都是如此。简单描述就是： Consumer从Broker ...

MergeTree一个mergetree类型的表必须有一个包含date类型的列（类型：Date），这个表是由很多个part构成。每一个part按照主键进行了排序，除此之外，每一个part含有一个最小日期和最大日期。当插入数据的时候，会创建一个新的sort part，同时会在后台周期性的进行merge ...

Scalar Functions 标量函数标量函数，是指返回一个值的函数。标量函数是实现将0，1，或者多个标量值转化为一个新值。实现一个标量函数需要继承ScalarFunction，并且实现一个或者多个evaluation方法。标量函数的行为就是通过evaluation方法来实现的。evaluati ...

数据的集合可以是各种类型，但是数组内的数据必须是同一种类型 创建数组可以通过array(T)或者[]创建数组 array(1, 2) [1, 2]array('1','2') ['1','2'] 建表语句create t ...

send方法

1
2
3
4
5
6

graph TB
A[确保topic对应的metaData是否可得]-->B[序列化key和value]
B-->C[如果没有指定partition,使用partitioner分配partition]
C-->D[生成对应的TopicPartition:String topic,int partition]
D-->E[用key和value生成RecordAppendResult,加入缓存池中]
E-->F[如果创新一个新的batch或者batch满了,唤醒发送线程]

除了从DataStream操作的结果中获取主数据流之外，你还可以产生任意数量额外的侧输出结果流。侧输出结果流的数据类型不需要与主数据流的类型一致，不同侧输出流的类型也可以不同。当您想要拆分数据流时(通常必须复制流),然后从每个流过滤出您不想拥有的数据，此操作将非常有用。当使用侧输出流时，你首先得定义 ...

Event Time / Processing Time / Ingestion Time

1. 几个重要的概念简述：

• Window：Window是处理无界流的关键，Windows将流拆分为一个个有限大小的buckets，可以可以在每一个buckets中进行计算
• start_time,end_time：当Window时时间窗口的时候，每个window都会有一个开始时间和结束时间（前开后闭），这个时间是系统时间
• event-time: 事件发生时间，是事件发生所在设备的当地时间，比如一个点击事件的时间发生时间，是用户点击操作所在的手机或电脑的时间
• Watermarks：可以把他理解为一个水位线，这个Watermarks在不断的变化，一旦Watermarks大于了某个window的end_time，就会触发此window的计算，Watermarks就是用来触发window计算的。

示例程序

有序表的搜索

考虑一个有序表：