Spark Streaming 迁移到Flink的效果小结小米的业务从Spark Streaming迁移到Flink的过程，比如数据处理的延迟、资源使用的变化、作业的稳定性等。 对于无状态作业，数据处理的延迟由之前Spark Streaming的16129ms降低到Flink的926ms，有94. ...

System Architecture 当 Flink 集群启动后，首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager，JobManager 再调度任务到各个 TaskManager 去执行，然后 TaskManager ...

Java中的对象都是在堆中分配吗？什么是逃逸分析？关于 Java 逃逸分析的定义： 逃逸分析（Escape Analysis）简单来讲就是，Java Hotspot 虚拟机可以分析新创建对象的使用范围，并决定是否在 Java 堆上分配内存的一项技术。 逃逸分析的 JVM 参数如下： 启逃逸分析：- ...

Version compont version docker 19.03.8 kubernetes 1.17.4 安装docker卸载旧版本 # 在 master 节点和 worker 节点都要执行yum remove -y docker \docker-client \doc ...

NetworkEnvironment网络环境（NetworkEnvironment）是TaskManager进行网络通信的主对象，主要用于跟踪中间结果并负责所有的数据交换。每个TaskManager的实例都包含一个网络环境对象，在TaskManager启动时创建。NetworkEnvironment ...

堆内内存（on-heap memory）堆外内存和堆内内存是相对的二个概念，其中堆内内存是我们平常工作中接触比较多的，我们在jvm参数中只要使用-Xms，-Xmx等参数就可以设置堆的大小和最大值 堆外内存（off-heap memory）和堆内内存相对应，堆外内存就是把内存对象分配在Java虚拟机的 ...

一、close导致数据变多ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); List<String> list = Lists.newArrayList("11"); env.setP ...

初始化初始化的代码主要包括调用JVM本地方法registerNatives()和sun.reflect.Reflection#registerMethodsToFilter。然后新建一个Unsafe实例命名为theUnsafe，通过静态方法getUnsafe()获取，获取的时候需要做权限判断。由此可 ...

计算机硬件有两种储存数据的方式：大端字节序（big endian）和小端字节序（little endian）。 举例来说，数值0x2211使用两个字节储存：高位字节是0x22，低位字节是0x11。 大端字节序：高位字节在前，低位字节在后，这是人类读写数值的方法。小端字节序：低位字节在前，高位字节在后 ...

TypeInformation 类是描述一切类型的公共基类，它和它的所有子类必须可序列化（Serializable），因为类型信息将会伴随 Flink 的作业提交，被传递给每个执行节点。 类型信息由 TypeInformation 类表示，TypeInformation 支持以下几种类型： Bas ...