发表于 | 分类于 ，

大数据组件

大数据相关组件更新快，技术栈变化快。但最终都会落地到SQL。

alt

https://bigdata.djbook.top/

3种产品模式

1.各类数据处理由各类数据库完成。
数据传输通过hdfs或者对象存储，数据转换通过datax，清洗，加工任由数据库编写SQL完成。

2.深度绑定spark,flink
作为批处理和流处理的，计算引擎。数据交互通过spark组件，flink组件。

3.星环，WeDataSphere之类
在大数据层中间，加上一层，上层统一SQL开发，屏蔽底层细节。

优缺点

1.技术栈能力低，能满足大数据初级用户。产品不能形成门槛。

2.需要针对spark,flink深度绑定，开发人员昂贵，一荣俱荣模式。

3.产品门槛高，需要对大数据组件深度二次开发，引入中间层增加复杂度。

发表于 | 分类于 ，

负载均衡 注重点

非80端口做反向代理

需要特别注意：proxy_set_header Host $host:$server_port;

nginx接收到浏览器请求后修改请求头中的host信息，然后再把请求转发给后端真实服务节点，服务节点响应后把返回信息传送给nginx，而由于nginx是使用的非80端口做代理，后端服务节点却依然以为nginx是80端口，所以响应信息没有正确的返回给nginx的非80端口。

负载均衡 策略

p_hash 会尽量保障Session的统一性

https://www.cnblogs.com/yanggb/p/10895326.html

参考代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

upstream tomcat_server {
   ip_hash;
   server 192.168.30.199:8080 max_fails=3 fail_timeout=40s;
   server 192.168.30.199:18080;
}

map $http_upgrade $connection_upgrade {
    default upgrade;
    '' close;
}

server {
    listen       81;
    server_name  pdi.pk;
    client_max_body_size 500M;
   
    location /pdi {
	proxy_pass http://tomcat_server;
	proxy_set_header Host $host:$server_port;
	proxy_set_header Upgrade $http_upgrade;
	proxy_set_header Connection $connection_upgrade;
    }

}


websocket

https://www.xncoding.com/2018/03/12/fullstack/nginx-websocket.html

负载均衡 重试策略 陷阱

重试策略涉及核心流量转发，配置不当可出现以下（不限）：

1.订单重复提交
2.恶意攻击导致no live upstreams
3.业务正常耗时被当成超时

https://zhuanlan.zhihu.com/p/127959800

其余参考

https://developer.51cto.com/article/619538.html

发表于

步骤如下

1.top >> 观察占用CPU或者MEN（内存）使用情况最高的进程,记录PID;

2.top -p PID >> 观察该PID对应进程的占用情况,
shift + h >> 开启线程显示，观察CPU/Men占用较高的线程有哪些，记录对应TID；

3.jstack PID > jstack.txt >> 查看该线程的堆栈信息

4.printf “%x\n” TID >> 将线程对应PID转为 16进制数（TID16）；

5.cat jstack.txt | grep TID16 >> 查看当前占用内存高的线程具体在做什么操作，分析原因

6.jmap -histo:live PID >> 查看当前堆内存中存在哪些存活对象

  1. jstat -gcutil PID 1000 3 >> 查看gc情况

发表于 | 分类于

获取镜像链路

1.pom.xml里的repository集合–>settings.xml里找mirrors
2.if(repository的id和mirror的mirrorOf的值相同) –>该mirror替代该repository
3.else 使用其本身

bwt:repositories中默认包含了中央仓库central

alt

mirrorOf类型含义

mirrorOf规则 作用
* 匹配所有，所有内容都从镜像拉取
external:* 除了本地缓存的所有从镜像仓库拉取
central 覆盖默认的仓库
repo1,repo2 匹配仓库repo1和repo2,使用逗号分割多个远程仓库