sudo curl -L git.io/weave -o /usr/local/bin/weavesudo chmod a+x /usr/local/bin/weave sudo weave reset --force 如果需要删除机器上的文件 ## Clean weave binariessudo ...
Flink 1.10.0 on Kubernetes 搭建
发表于
|
更新于
|
分类于
Flink
依赖镜像制作 FROM flink:1.10.0-scala_2.11ADD ./lib/* /opt/flink/lib/RUN /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo 'Asia ...
kubernetes ingress
发表于
|
更新于
|
分类于
Kubernetes
kubernetes 对外暴露服务的方法向 kubernetes 集群外部暴露服务的方式有三种： nodePort，LoadBalancer 和本文要介绍的 Ingress。每种方式都有各自的优缺点，nodePort 方式在服务变多的情况下会导致节点要开的端口越来越多，不好管理。而 LoadBala ...
Elasticsearch 常用操作
发表于
|
分类于
Elasticsearch
本篇记录的是日常使用过程中一些常用的操作，作为笔记以供翻阅。Elasticsearch 使用的版本是1.6.x，其他版本出入有待确定。 查询写入的bucket队列GET _cat/thread_pool?v 查询routing落在哪个服务器GET {INDEX-NAME}/_se ...
将关联关系的数据放在同一个集合中
发表于
|
分类于
Java
功能实现 (A,B)(C,D)(E,A) 将有关联关系的数据放在同一个集合中 (A,B,E)(C,D) 方法一通过每次添加一个数据，判断是否在集合中，并且将关联集合合并 import java.util.HashSet;import java.util.Iterator;import java.ut ...
让es分配主索引时shard均衡
发表于
|
更新于
|
分类于
Elasticsearch
现象由于es在分配shard的时候，会根据磁盘容量分配shard，导致会出现shard会集中在某一台机器上，出现很严重的倾斜 node shard node1 one main， two main，three main ， four main node2 node3 one ...
Elasticsearch 索引设计实战指南
发表于
|
分类于
Elasticsearch
出处转自 Elasticsearch 索引设计实战指南 题记随着 Elastic 的上市，ELK Stack 不仅在 BAT 的大公司得到长足的发展，而且在各个中小公司都得到非常广泛的应用，甚至连“婚庆网站”都开始使用 Elasticsearch 了。随之而来的是 Elasticsearch 相关部 ...
将ELASTICSEARCH写入速度优化到极限
发表于
|
分类于
Elasticsearch
转载自https://www.easyice.cn/archives/207 综合来说,提升写入速度从以下几方面入手: 加大 translog flush ,目的是降低 iops,writeblock 加大 index refresh间隔, 目的除了降低 io, 更重要的降低了 segment m ...
Flink 1.10 前后内存模型对比
发表于
|
更新于
|
分类于
Flink
新旧内存模型1.10 之前的内存模式 Flink 内存主要指 TaskManager 运行时提供的内存资源。 TaskManager 主要由几个内部组件构成: 负责和 JobManager 等进程通信的 actor 系统 负责在内存不足时将数据溢写到磁盘和读回的 IOManager 负责内存管 ...
Flink 1.10 内存模型和配置（翻译）
发表于
|
分类于
Flink
设置任务执行程序内存https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/memory/mem_setup.html Flink JVM进程的总进程内存包括由Flink应用程序消耗的内存(total Flink memory ...