运维之道

人体碘元素知识

Sat, 15 Feb 2025 22:06:40 +0800

碘（化学符号：I，原子序数：53）,碘是一种深紫色的固体，在常温常压下呈片状晶体。它具有较强的挥发性，当受热时，固体碘会直接转变为紫色的气体.在水中，碘不溶解，但可以溶解于一些有机溶剂中，例如乙醇和二甲苯。碘具有氧化性，在一些反应中可以作为氧化剂，例如氧化亚硫酸根离子为硫酸根离子。碘及其化合物在医药、生物化学和化学分析等领域具有重要应用。

碘是人体必需的微量元素之一，体内不能生成，需从外环境获取，对于儿童和孕妇的健康发育尤为重要。碘缺乏会影响大脑发育和认知功能，因此在一些地区，政府和卫生组织会通过盐碘化等方式进行碘的补充。

缺碘可能导致的问题

新生儿期可致新生儿甲减、甲状腺肿；

儿童及青春期可致甲状腺肿、亚临床克汀病、智力和体格发育障碍、单纯性耳聋等；

成人则可引起甲状腺肿及其并发症、甲减、智力障碍、碘性甲亢

碘缺乏病的临床表现极为复杂，往往取决于缺碘的严重程度，以及缺碘时机体所处的发育阶段。胎儿期可发生消瘦、心跳加快、脾气变怪、急躁易怒、眼球突出、甲状腺肿大等，此病也称“甲状腺机能亢进症”

碘缺乏对于现在的人来说，是一种不太可能出现的疾病，因为现在的食用盐还有我们平时的饮食上碘元素含量还是非常高的，比如很多的家庭现在每一餐都含有海鱼或者是海产品。无碘盐孩子是可以吃的，随着经济和社会的发展，儿童的营养价值相对均衡，目前因缺碘引起的甲状腺肿比较少见，因此吃非碘盐是可以。这样既能补充丰富的钠离子，平衡体内离子水平，促进儿童身体发育，又能避免碘离子摄入过多造成的身体不适

碘的用量

人体不能够储存大量碘，因此我们需要经常摄取少量碘。如大量摄入，碘很快会经由尿液排出。长时间摄入过量碘可能影响甲状腺功能。一般健康的成年人每天不宜摄入多于600微克碘。

若保持穩定每日補充，人體只需小量的碘便已足夠。如大量攝入，碘很快會經腎臟排到尿液中。長時間攝入過量碘可能影響正常的甲狀腺功能，一般健康的成年人可安全承受每日達1000微克碘攝入量。

世卫组织推荐每天的碘摄入量不要低于44微克/天，碘的安全数量范围在50微克～1000微克每天，成年人理想的碘摄入量为150微克/天。

世界卫生组织《成人和儿童钠摄入量指南（2012）》和我国《中国居民膳食指南（2022版）》均建议成人每天盐摄入量不超过6克。按照我国《食用盐碘含量》（GB 26878-2011）标准，如果食盐强化碘量水平为25毫克/千克，烹调损失率按世卫组织推荐的20%计算，每天从加碘食盐中可摄入碘100微克

严重缺碘或者碘过量都会导致甲状腺肿大问题，甲亢患者每天碘的摄入量尽量控制在50微克以下

顺带提一下盐的摄入量

正常人一天不超过6~8克

含碘盐的碘含量标准一般是：20mg/kg至30mg/kg，一般看到的2500微克/100g 就是非常标准的含量，也就是每一克加碘盐里还有约25微克的碘

2段奶粉含碘量：105ug/100g 奶粉，一勺奶粉约7.5g，也就是相当于7.5微克的碘，以奶粉为主的宝宝一天的奶量为150~200毫升*4次，差不多 3.5勺*4*7.5ug = 105 ug 碘，已经超过需求量的一倍了，非常充足。如果每天吃两次牛奶的儿童也有几十微克的碘补充，再加上其它食物中的碘的摄入，不用担心碘摄入量问题。

碘的合理摄入

可以通过食用加碘盐，食用含碘量较高的食物或者服用补碘制剂来补充碘。其中，海带、紫菜含碘量最高，干海带碘含量能达到36240μg/100g；蛋类含碘量较高（如鹌鹑蛋233 μg /100g)；奶类、肉类和植物性食物含碘量很低。其他补碘制剂包括含碘营养素补充剂、碘油丸等。

一般人群

1、建议一般人群每天摄入5g加碘食盐，可摄入碘100μg，加上饮水和食物中摄入的碘，则能达到一般人群碘推荐摄入量（120μg/d~ 150μg/d）。

2、建议除了居住在高水碘地区的居民不食用加碘食盐外，其他居民都应食用加碘食盐。另外沿海地区经常使用海产品的居民基本不用在食用加碘盐了，反而要注意控制

婴幼儿及青少年

1、我国食品标准规定婴幼儿乳制品加碘量为每100kJ（千焦）加碘2.5～14.0μg或每100kcal（千卡）加碘10.5～58.6μg；建议婴幼儿的辅食中应有含碘丰富的海产品。

2、儿童青少年各器官生长发育快，基础代谢增强，碘消耗较多，应食用加碘食盐。

妊娠期及哺乳期

1、每天摄入5g加碘食盐；

2、加上饮水和食物中摄入的碘，则能达到一般人群碘推荐摄入量（120μg/d）；

3、额外增加富含碘的海带/紫菜1-2次/周；

4、可服用含碘补充剂。

高碘地区及沿海地区

1、我国高碘地区（徐州市丰县、沛县两县及泉山、铜山、睢宁、邳州的部分乡镇）无需再补碘；当地无加碘盐；

2、沿海地区生产海带、紫菜等富碘食物，哪怕半月吃一次都能顶半月的碘量了。再加上平日吃些贝类、海鱼类，只有担心是否过量的问题。当然还是得看频率

甲状腺结节是否可以吃海鲜？

只要甲状腺功能正常，就依然可以吃海鲜，同时依然需要吃加碘的食盐；若甲状腺结节导致了甲亢，需要限碘。

各组织/机构推荐的每日碘的摄入量参考

《中国居民膳食营养素参考摄入量》-2023版

java环境-JDK下载安装

Thu, 09 Apr 2020 00:54:02 +0800

先解释下JDK/JRE的区别：

简单概述：

JDK是Java的开发工具，它不仅提供了Java程序运行所需的JRE，还提供了一系列的编译，运行等工具，如javac，java，javaw等，还有运维经常用到的jstat/jstack/jmap等工具

JRE只是Java程序的运行环境，它最核心的内容就是JVM（Java虚拟机）及核心类库。没有jdk里用到的相关工具

引用一张网上的图直观了解下：

好了，下面介绍下JDK的情况。目前主要用到的JDK发行版主要是Oracle JDK以及OpenJDK：

Oracle JDK：

现在去官网下载很麻烦了，需要注册或者agree license等等，下载也慢。要么使用openjdk，或者使用国内华为镜像加速站：[也是刚建立没多久]

华为镜像站：https://mirrors.huaweicloud.com/java/jdk/
wget https://mirrors.huaweicloud.com/java/jdk/11.0.2+9/jdk-11.0.2_linux-x64_bin.tar.gz

OpenJDK：

OpenJDK是Oracle的分发版，由社区维护，yum可以直接安装，速度也快，在目前情势下可以推荐使用openjdk了

https://jdk.java.net/ 有oracle 基于GPL的openjdk下载，不需要任何交互，但是家庭电信网络速度有点慢，我在家下载最高只有8Mbps，下了一部分最后只有几十KB每秒了。类似具有BGP网络的阿里云下载速度能够达到30Mbps以上。

wget https://download.java.net/openjdk/jdk11/ri/openjdk-11+28_linux-x64_bin.tar.gz  # 速度不咋地，不适合写到脚本里.

貌似还有个AdoptOpenJDK，似乎也没有太去关注什么区别，只要运行没有问题就行。OpenJDK和AdoptOpenJDK有什么区别？请参考：https://mlog.club/article/1891842

AdoptOpenJDK清华镜像站：https://mirrors.tuna.tsinghua.edu.cn/AdoptOpenJDK/
wget https://mirrors.tuna.tsinghua.edu.cn/AdoptOpenJDK/11/jdk/x64/linux/OpenJDK11U-jdk_x64_linux_openj9_11.0.6_10_openj9-0.18.1.tar.gz

# 速度还可以接受，放脚本里没问题，但是不建议。可以事先下载下来

个人觉得，如果没有特殊需求就用openjdk也可以，非得用Oracle JDK就去官方下载。

# yum安装方式：

yum install -y java-11-openjdk-headless java-11-openjdk.x86_64 java-11-openjdk-devel.x86_64

最终建议下载使用二进制包方式安装，事先下载后可进行脚本化：

wget https://mirrors.huaweicloud.com/java/jdk/11.0.2+9/jdk-11.0.2_linux-x64_bin.tar.gz

tar xf jdk-11.0.2_linux-x64_bin.tar.gz -C /usr/local/src/
ln -s /usr/local/src/jdk-11.0.2 /usr/local/jdk
ln -s /usr/local/jdk/bin/java  /usr/bin/
cat >> /etc/profile << \EOF
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
EOF

elasticsearch安装部署

Sat, 07 Mar 2020 02:31:24 +0800

一）下载:

elk系列下载地址: https://www.elastic.co/cn/downloads

国内下载镜像：https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/

二）安装

企业最佳安装实践为rpm包方式安装，通过脚本批量快速部署。

1）RPM包安装方式

rpm安装方式：

wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.4.2/elasticsearch-7.4.2-x86_64.rpm

rpm -ivh elasticsearch-7.4.2-x86_64.rpm

2）yum安装方式

有启动控制脚本比较方便。如果换成国内yum源仍旧慢，则还是使用rpm包安装方式吧

增加yum仓库：[很遗憾的是国内几乎没法下载,改成清华的源吧]

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
cat >> /etc/yum.repos.d/elk.repo << EOF
[elastic-7.x]
name=Elastic repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
EOF

# 清华yum源，速度也不咋地，还是下载rpm包安装吧

cat >> /etc/yum.repos.d/elk.repo << EOF
[elastic-7.x]
name=Elastic repository for 7.x packages
baseurl=https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
EOF

yum install -y elasticsearch

三）配置

主配置文件：/etc/elasticsearch/elasticsearch.yml

jvm.options：主要是用于调整内存es内存大小使用，实际根据内存大小进行分配。

1）单机模式

node.name: node-01
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["127.0.0.1", "[::1]"]
discovery.type: single-node
http.cors.enabled: true
http.cors.allow-origin: "*"
# 单机模式开启安全认证添加下面两行
xpack.security.enabled: true
xpack.license.self_generated.type: basic

2）集群模式

集群分为多种架构，不同架构每台节点的角色不同。es节点属于哪种角色[工种]由node.data和node.master两个参数确定，两个参数根据布尔值结果有四种组合，每一种组合都确定了一种角色。

默认配置下节点同时为master和data角色，如果集群节点数不是特别多的话，比如三个es节点组成集群，这种模式可以减少运维成本。

混合模式：

cluster.name: es-pre
node.name: node-01
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["172.31.71.134", "172.31.71.135","172.31.71.136"]
cluster.initial_master_nodes: ["node-01"]
http.cors.enabled: true
http.cors.allow-origin: "*"
# node.name: node-1  # 给Node起个名字,其他节点配置仅此参数不同node-1/node-2/node-3，其他都一样

data/master分离架构：

cluster.name: es-cluster
node.name: es-master01
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["es-master01","es-master02","es-master03"]
discovery.seed_hosts: ["192.168.10.21","192.168.10.22", "192.168.10.23"]
http.cors.enabled: true
http.cors.allow-origin: "*"
# 开启安全认证添加如下
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

除了node.name之外其他配置都一样

如集群节点数比较多，建议master单独部署。此时需要明确声明该节点的角色。

1. master node：

node.master: true

node.data: false

2. data node:

node.master: false

node.data: true

默认情况下虽然没有配置这两个参数，实际上相当于两个参数都为true

elasticsearch ilm生命周期管理

Thu, 27 Feb 2020 22:30:30 +0800

索引生命周期管理 ILM: index lifecycle management

为了能够灵活地对索引数据的生命周期进行管理，我们需要结合生命周期策略[ILM policy]、索引模板[index template]、索引别名[index alias]、索引模式[index pattern]。如果只是正常工作，只需要创建一个策略，然后把索引关联到该策略即可。

为了方便观察，我新建一个策略只开启Cold phase，需要的时候再开启删除操作。

新建一条策略myilm：3天以前的索引进入cold阶段。

1. kibana给索引添加生命周期策略：

可以看到添加策略的索引因为已经符合条件而打上了Frozen标签[我的操作时间是2020-04-23]

2. 通过es API给索引添加生命周期策略：

举例：索引nginx-access-2020.04.16目前是没有添加任何生命周期策略的

[root@del620 ~]# curl -s es01:9200/nginx-access-2020.04.16/_settings|jq -e '."nginx-access-2020.04.16".settings.index.lifecycle.name'

null

现在通过es的api添加策略：

[root@del620 ~]# curl -H 'Content-Type: application/json' -XPUT http://es01:9200/nginx-access-2020.04.16/_settings -d '{ "index":{ "lifecycle":{"name":"myilm"}}}'

{"acknowledged":true}

再次查询检查策略是否添加：

[root@del620 ~]# curl -s es01:9200/nginx-access-2020.04.16/_settings|jq -e '."nginx-access-2020.04.16".settings.index.lifecycle.name'

"myilm"

查看详情：curl -s es01:9200/nginx-access-2020.04.16/_settings?pretty

其他更多高级技巧如前面提到的结合索引模板来管理多元化需求的索引，不同索引使用不同的策略等，后续有时间再来整理。

ELK/EFK--Linux系统日志收集

Thu, 27 Feb 2020 22:28:18 +0800

默认系统日志日期是不包含年的，为了方便采集到ELK，可以改成年月日的标准格式，看上去也更友好一些

Apr 16 22:10:01 dev01 systemd: Started Session 3197 of user root.
Apr 16 22:20:01 dev01 systemd: Started Session 3198 of user root.
Apr 16 22:30:01 dev01 systemd: Started Session 3199 of user root.

具体更改方法：

cat > /etc/rsyslog.d/newdateformat.conf << \EOF
$template myformat,"%$NOW% %TIMESTAMP:8:15% %HOSTNAME% %syslogtag% %msg%\n"
$ActionFileDefaultTemplate myformat
EOF

systemctl restart rsyslog

修改后时间格式为：

2020-04-16 23:15:27 dev01 systemd: Stopped System Logging Service.
2020-04-16 23:15:27 dev01 systemd: Starting System Logging Service...

Logstash配置：因为不是json格式，所以需要grok模块对日志格式化匹配，然后使用date模块匹配日志里的时间格式：

    grok {
      match => { "message" => "%{TIMESTAMP_ISO8601:syslogtime}" }
    }
    date {
      match => ["syslogtime", "yyyy-MM-dd HH:mm:ss"]
      target => "@timestamp"
    }

filebeat配置：inputs.d/systemlog.yml

- type: log 
  enabled: true 
  paths:
    - /var/log/messages
  exclude_lines: '[[:graph:] ]+filebeat[[:graph:] ]+'
  tags: ["syslog"]
  fields:
    svcname: syslog
    logtype: sys-messages

- type: log 
  enabled: true 
  paths:
    - /var/log/secure
  tags: ["syslog"]
  fields:
    svcname: syslog
    logtype: sys-secure

kibana日志展示：

ELK/EFK--Nginx日志收集

Thu, 27 Feb 2020 22:27:24 +0800

首先为了更适合ELK采集输出，把Nginx日志格式改成json格式输出：

log_format  json  '{ "@timestamp": "$time_iso8601","remote_addr": "$remote_addr","method":"$request_method",'
                  '"scheme":"$scheme","host":"$host","server_port","$server_port","request":"$request_uri","status":"$status", "body_size":"$body_bytes_sent",'
                  '"referer":"$http_referer","ua":"$http_user_agent","xff":"$http_x_forwarded_for","up_addr":"$upstream_addr",'
                  '"up_resp_time":"$upstream_response_time","up_code":"$upstream_status","rt":"$request_time"}';

关于Nginx的两种时间格式介绍：

$time_iso8601

"2020-04-15T01:32:20+08:00"

这种格式下对应的Logstash配置处理：

注意这里的时间格式可以选择$time_iso8601，刚好符合Logstash中date模块处理格式。输出的格式为："2020-04-15T01:32:20+08:00"，Logstash配置里需要对此格式进行匹配：

    date {
      match => ["timestamp", "yyyy-MM-dd'T'HH:mm:ssZZ"]
      target => "@timestamp"
    }

$time_local

"08/Apr/2020:03:52:37 +0800"

这种格式下对应的Logstash配置处理：

    date {
      match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
      target => "@timestamp"
    }

经过这样处理后kibana中显示的时间才能与日志的时间保持一致。对比两种格式使用iso8601更友好些.

/var/log/nginx/access.log：

{ "@timestamp": "2020-04-15T21:44:00+08:00","remote_addr": "192.168.10.27","method":"GET","scheme":"http","host":"dev01","server_port":80,"request":"/img/header-background.png","status":200, "body_size":82896,"referer":"-","ua":"curl/7.29.0","xff":"-","up_addr":"-","up_resp_time":"-","up_code":"-","rt":0.000}
{ "@timestamp": "2020-04-15T21:44:01+08:00","remote_addr": "192.168.10.27","method":"GET","scheme":"http","host":"dev01","server_port":80,"request":"/index.html","status":200, "body_size":4833,"referer":"-","ua":"curl/7.29.0","xff":"-","up_addr":"-","up_resp_time":"-","up_code":"-","rt":0.000}
{ "@timestamp": "2020-04-15T21:44:02+08:00","remote_addr": "192.168.10.27","method":"GET","scheme":"http","host":"dev01","server_port":80,"request":"/img/header-background.png","status":200, "body_size":82896,"referer":"-","ua":"curl/7.29.0","xff":"-","up_addr":"-","up_resp_time":"-","up_code":"-","rt":0.000}
{ "@timestamp": "2020-04-15T21:44:03+08:00","remote_addr": "192.168.10.27","method":"GET","scheme":"http","host":"dev01","server_port":80,"request":"/index.html","status":200, "body_size":4833,"referer":"-","ua":"curl/7.29.0","xff":"-","up_addr":"-","up_resp_time":"-","up_code":"-","rt":0.000}

安装filebeat后增加配置：inputs.d/nginx.yml:

- type: log 
  enabled: true 
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.add_error_key: true
  json.overwrite_keys: true
  tags: ["nginx_access"]
  fields:
    svcname: nginx
    logtype: nginx_access
- type: log 
  enabled: true 
  paths:
    - /var/log/nginx/error.log
  tags: ["nginx_error"]
  fields:
    svcname: nginx
    logtype: nginx_error

Logstash配置：这里贴的是全部的配置，重点关注这里跟Nginx相关的部分 [fields][logtype] == "nginx_access"：

主配置：日志流处理，匹配时间格式

[root@logstash01 ~]# cat /etc/logstash/conf.d/main.conf

input {
    beats {
        port => 5000
    }
}
filter {
  ruby {
    code => "event.set('myindex_date', event.get('@timestamp').time.localtime + 8*60*60)"
  }
  if [fields][logtype] == "nginx_access" {
    date {
      match => ["timestamp", "yyyy-MM-dd'T'HH:mm:ssZZ"]
      target => "@timestamp"
    }
  }
  if [fields][svcname] == "syslog" {
    grok {
      match => { "message" => "%{TIMESTAMP_ISO8601:syslogtime}" }
    }
    date {
      match => ["syslogtime", "yyyy-MM-dd HH:mm:ss"]
      target => "@timestamp"
    }
  }
}

[root@logstash01 ~]# cat /etc/logstash/conf.d/nginx.conf

output {
  if [fields][logtype] == "nginx_access" {
    elasticsearch {
        hosts => ["es01:9200","es02:9200","es03:9200"]
        index => "nginx-access-%{myindex_date}"
    }
  }
  if [fields][logtype] == "nginx_error" {
    elasticsearch {
        hosts => ["es01:9200","es02:9200","es03:9200"]
        index => "nginx-error-%{myindex_date}"
    }
  }
}

kibana采集日志的展示：

通过截图显示可以看到Nginx中定义的key在这里也作为独立的fields。这里的@timestamp时间通过Logstash处理后跟日志里的时间保持一致了。但是截图里的Time和@timestamp的时间格式并不是Nginx日志中的格式，是因为kibana显示的原因，kibana还可以重新定义一次用于展示的时间格式。Nginx中的@timestamp实际是什么呢，我们来看下：

这个时间则是采集到的Nginx日志里的真实数据，不过为什么这里不是Nginx日志的原始数据，目前也还没弄明白。初步查了下，kibana的日期格式与Logstash有点区别，特别是时区。Logstash中date模块里[+08:00]用"ZZ"表示，而kibana则是用一个大写字母Z表示. 不知道是否跟这个有关系

Filebeat安装部署

Thu, 27 Feb 2020 22:26:32 +0800

下载安装

wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.4.2/filebeat-7.4.2-x86_64.rpm
rpm -ivh filebeat-7.4.2-x86_64.rpm

配置

mv /etc/filebeat/filebeat.yml /etc/filebeat/filebeat.yml.orig
cat > /etc/filebeat/filebeat.yml << \EOF
filebeat.config.inputs:
  enabled: true
  path: inputs.d/*.yml
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
max_procs: 1
queue.mem:
  events: 4096
  flush.min_events: 2048
  flush.timeout: 5s
setup.ilm.enabled: false
output.logstash:
  hosts: ["192.168.10.27:5000"]
  #loadbalance: true
  #compression_level: 6
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

EOF

# 说明:
192.168.10.27:5000 -- Logstash的地址和端口
filebeat.yml里的配置参数详细解说在以后介绍,这里的部分配置只是确保服务能正常启动,没有收集任何日志信息.

filebeat.yml配置内容可以保证服务正常启动，但是没有采集应用日志相关配置，下面以nginx应用作为应用采集配置作为举例讲解：

inputs.d/nginx.yml:

- type: log 
  enabled: true 
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.add_error_key: true
  json.overwrite_keys: true
  tags: ["nginx_access"]
  fields:
    svcname: nginx
    logtype: nginx_access
- type: log 
  enabled: true 
  paths:
    - /var/log/nginx/error.log
  tags: ["nginx_error"]
  fields:
    svcname: nginx
    logtype: nginx_error

服务启停

为了简便,给服务起一个简短的名称,在/usr/lib/systemd/system/filebeat.service中添加别名:
[Install]
Alias=fb.service

# 让别名生效
systemctl enable filebeat
systemctl start fb

验证服务

首先查看agent进程是否正常启动
systemctl status filebeat

Logstash安装部署

Thu, 27 Feb 2020 22:26:06 +0800

下载安装

Logstash组件的运行需要java，因此必须先安装JDK组件。

# 安装JDK
wget https://mirrors.huaweicloud.com/java/jdk/11.0.2+9/jdk-11.0.2_linux-x64_bin.tar.gz

tar xf jdk-11.0.2_linux-x64_bin.tar.gz -C /usr/local/src/
ln -s /usr/local/src/jdk-11.0.2 /usr/local/jdk
ln -s /usr/local/jdk/bin/java  /usr/bin/ # 必须执行这一条,否则systemd启动服务找不到JAVA_HOME
cat >> /etc/profile << \EOF
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
EOF

# 安装logstash

wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.4.2/logstash-7.4.2.rpm
rpm -ivh logstash-7.4.2.rpm

配置

mkdir -p /data/logstash/{data,logs} && chown logstash.logstash -R /data/logstash
# 软件配置
mv /etc/logstash/logstash.yml /etc/logstash/logstash.yml.orig
cat > /etc/logstash/logstash.yml << EOF
path.data: /data/logstash
path.logs: /data/logstash/logs
xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.hosts: ["http://localhost:9200"]
#xpack.monitoring.elasticsearch.username: logstash_system
#xpack.monitoring.elasticsearch.password: kb2019
EOF
# 应用配置：所有.conf配置文件都放在目录/etc/logstash/conf.d
# conf配置文件结构大致上是input{}、filter{}、output{}
# 主配置: logstash-main.conf, 应用配置app1.conf/app2.conf/...来配置不同应用的输出, 非常方便扩展, 后续添加应用只要拷贝一个模板修改一下应用名关键字即可.
# 为了让logstash服务正常能够启动,我们需要添加Input{} 部分监听端口:
cat >/etc/logstash/conf.d/logstash-main.conf <<EOF
input {
    beats {
        port => 5000
    }
}
EOF

服务启停

systemctl restart logstash

# 服务检测: 服务启动后有个一二十秒后会监听端口[5000是默认,可以自定义;9600则是服务自身用不对外开放]
[root@logstash01 bin]# ss -ltn |egrep "5000|9600"
LISTEN     0      128         :::5000                    :::*                  
LISTEN     0      50        ::ffff:127.0.0.1:9600                    :::*

常见安装错误.

常见错误1：缺少配置文件，服务不停地重启

Apr  5 20:33:08 logstash01 logstash: [2020-04-05T20:33:08,761][INFO ][logstash.config.source.local.configpathloader] No config files found in path {:path=>"/etc/logstash/conf.d/*.conf"}
Apr  5 20:33:08 logstash01 logstash: [2020-04-05T20:33:08,807][ERROR][logstash.config.sourceloader] No configuration found in the configured sources.
Apr  5 20:33:09 logstash01 logstash: [2020-04-05T20:33:09,152][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
Apr  5 20:33:14 logstash01 logstash: [2020-04-05T20:33:14,020][INFO ][logstash.runner          ] Logstash shut down.

常见错误2：通过systemctl start logstash发现启动失败，通过查看/var/log/message日志发现居然找不到JAVA_HOME环境变量[已在/etc/profile添加过]

Apr  8 22:24:40 logstash01 logstash: could not find java; set JAVA_HOME or ensure java is in PATH
Apr  8 22:24:40 logstash01 systemd: logstash.service: main process exited, code=exited, status=1/FAILURE
Apr  8 22:24:40 logstash01 systemd: Unit logstash.service entered failed state.
Apr  8 22:24:40 logstash01 systemd: logstash.service failed.
Apr  8 22:24:40 logstash01 systemd: logstash.service holdoff time over, scheduling restart.
Apr  8 22:24:40 logstash01 systemd: Stopped logstash.

后查找原因是因为systemd service不会去查找/etc/profile文件,由systemd自定义的环境文件定义. 解决办法有许多，介绍几种：

1) 给systemd service里的Environment=/etc/default/logstash里添加JAVA_HOME变量:
echo "JAVA_HOME=/usr/local/jdk" >> /etc/default/logstash
2) 脚本/usr/share/logstash/bin/logstash.lib.sh首行加入JAVA环境
JAVA_HOME=/usr/local/jdk
3) 添加java软连接到系统默认PATH变量路径里:
ln -s /usr/local/jdk/bin/java /usr/bin/
推荐第三种方案一劳永逸

haproxy之cookie

Tue, 13 Aug 2019 23:09:11 +0800

一. 环境：

在自己的k8s上新建了几个容器：[这块可以忽略...]

[root@master01 k8s]# kubectl get pod -o wide
NAME         READY   STATUS    RESTARTS   AGE   IP          NODE            NOMINATED NODE   READINESS GATES
haproxy-01   1/1     Running   0          14h   10.2.77.4   192.168.10.95   <none>           <none>
tomcat-01    1/1     Running   0          17h   10.2.77.3   192.168.10.95   <none>           <none>
tomcat-02    1/1     Running   0          16h   10.2.77.5   192.168.10.95   <none>           <none>

[root@master01 k8s]# cat tomcat.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: tomcat-01
spec:
  containers:
  - name: tomcat-01
    securityContext:
      privileged: true
    image: 192.168.10.103/public/sshd-base:latest
    imagePullPolicy: Always
  imagePullSecrets:
  - name: mysecret

haproxy：10.2.77.4

tomcat01：10.2.77.3

tomcat02：10.2.77.5

OS：centos7u6

二. 后端服务部署

服务基于Tomcat的动态jsp请求，tomcat基于java，需要先把java环境部署，具体步骤就不介绍了。

1. JAVA环境：

# /etc/profile：中加入环境变量
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH

[root@tomcat-01 ~]# java -version
java version "1.8.0_221"
Java(TM) SE Runtime Environment (build 1.8.0_221-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.221-b11, mixed mode)

2. tomcat安装：

Tomcat下载：http://tomcat.apache.org/download-80.cgi

使用二进制方式安装：

wget http://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-8/v8.5.43/bin/apache-tomcat-8.5.43.tar.gz

tar zxf apache-tomcat-8.5.43.tar.gz

mv apache-tomcat-8.5.43 /usr/local/src/

ln -s /usr/local/src/apache-tomcat-8.5.43 /usr/local/tomcat

启动：

cd /usr/local/tomcat/bin

./startup.sh

测试：

curl 127.0.0.1:8080

返回结果正常，另外一台同样的安装即可。为了方便测试，修改默认首页index.jsp为"tomcat01"和"tomcat02"

三. haproxy安装配置

yum install -y haproxy

[root@haproxy-01 haproxy]# cat haproxy.cfg
global
    maxconn 30000
    user haproxy
    pidfile /var/run/haproxy.pid
    log 127.0.0.1 local0 info
    log 127.0.0.1 local1 warning

defaults
    mode http
    log global
    option http-keep-alive
    option forwardfor
    option httplog
    timeout connect 5000ms
    timeout client 10000ms
    timeout server 50000ms
    timeout http-request 20000ms
    option httpchk GET /healthCheck.html

frontend http-in
    bind *:80
    maxconn 30000
    default_backend bk_tomcat

backend bk_tomcat   
    balance roundrobin
    cookie c_serverid insert indirect nocache
    server tomcat01 10.2.77.3:8080 check cookie tomcat01
    server tomcat02 10.2.77.5:8080 check cookie tomcat02

listen stats
    bind *:9001            
    stats refresh 30s             
    stats uri /stats              
    stats realm HAProxy\ Stats
    stats auth admin:admin

默认请求：/index.jsp，后文将省略index.jsp。

第一个请求：请求头没有任何额外的信息，haproxy检测到请求头没有对应的cookie，所以响应头被haproxy插入了设定好的cookie：c_serverid=tomcat01，说明选择的backend server是tomcat01，后续请求都将转发到此server

第二个请求：可以看到请求头cookie中已经附上了前面请求中haproxy插入的信息，haproxy识别后将请求转发到标记的后端服务器，这样就能一直保持转发到相同服务器

后续请求都是转发到相同服务器了。注意到整个过程中Tomcat的创建的JSESSIONID也没有变过。

用curl来测试一下：

虽然haproxy在响应头里插入了cookie，但是由于curl都是一次性请求连接就断开，默认也没有附上cookie，所以是轮询的。

下面在请求中带上cookie试试：

可以看到带上cookie信息后转发到了固定的后端服务器，多请求测试一下：

可以看到都是转发到相同的后端了。

统计nginx日志中url的平均响应时间

Wed, 29 May 2019 13:37:21 +0800

假设日志内容如下，第二列代表响应时间，单位ms：

[root@ecs01 logs]# cat test.log 
http://www.baidu.com/   34
http://www.taobao.com/  10
http://www.baidu.com/   27
http://www.taobao.com/  12

现在需要统计各个url的平均响应时间，并按照递减顺序排名，一条命令如何实现：

[root@ecs01 logs]# cat test.log |awk '{url[$1]+=$2;curl[$1]++}END{for(i in url)for(c in curl)if (c=i) print c,url[i]/curl[c]}'|uniq|sort -k2 -rn
http://www.baidu.com/ 30.5
http://www.taobao.com/ 11

拿自己的网站日志测试下：

[root@ecs01 logs]# tail access.log -n200|awk -F'[" ]+' '{url[$7]+=$9;curl[$7]++}END{for(i in url)for(c in curl)if (c=i) print c,url[i]/curl[c]}'|uniq|sort -k2 -rn|head
http://pyops.net/zb_users/theme/koilee/style/style.css 139511
http://pyops.net/?id=51 94067
http://pyops.net/zb_system/script/jquery-2.2.4.min.js 85578
http://pyops.net/zb_users/upload/2019/05/201905141557772239461811.jpg 83907
http://pyops.net/zb_users/theme/koilee/style/style.css 69755.5
http://pyops.net/zb_users/plugin/UEditor/third-party/prism/prism.js 61083
http://pyops.net/zb_users/plugin/UEditor/third-party/prism/prism.js 61083
http://pyops.net/?id=33 52397
http://pyops.net/zb_users/theme/koilee/script/swiper.min.js 51247
http://pyops.net/zb_users/theme/koilee/script/swiper.min.js 51247