sudo gitlab-backup create INCREMENTAL=yes PREVIOUS_BACKUP=<timestamp_of_backup>
在 GitLab 14.9 和 14.10 中：

sudo gitlab-backup create INCREMENTAL=yes BACKUP=<timestamp_of_backup>

 -----已开启新会话-----     

stream {
    server {
        listen 80;
        proxy_pass backend_servers;
        proxy_connect_timeout 3s;  # 设置连接超时时间
        proxy_timeout 10s;  # 设置代理超时时间
        health_check;  # 开启健康检查
    }
}

http {
    upstream backend_servers {
        server backend1.example.com:8080 max_fails=3 fail_timeout=30s;
        server backend2.example.com:8080 max_fails=3 fail_timeout=30s;
        check interval=5s rise=2 fall=3 timeout=2s type=tcp;
    }
}

 -----已开启新会话-----     

upstream backend {
    server backend1.example.com;
    server backend2.example.com;
}

upstream backend {
    server backend1.example.com check;
    server backend2.example.com check;
}

upstream backend {
    server backend1.example.com check interval=3000 rise=2 fall=3;
    server backend2.example.com check interval=3000 rise=2 fall=3;
}

upstream backend {
    server backend1.example.com check interval=3000 rise=2 fall=3 timeout=1000;
    server backend2.example.com check interval=3000 rise=2 fall=3 timeout=1000;
}

#!/bin/bash
#
########################
#author:heidsoft
#email:[email protected]
########################

git clone https://github.com/OnePaaS/libcontainer.git

git clone https://github.com/OnePaaS/docker-registry.git

git clone https://github.com/OnePaaS/libtrust.git

git clone https://github.com/OnePaaS/etcd.git

git clone https://github.com/OnePaaS/etcd-manager.git

git clone https://github.com/OnePaaS/dnsserver.git

git clone https://github.com/OnePaaS/docker-status.git

git clone https://github.com/OnePaaS/dockerlite.git

git clone https://github.com/OnePaaS/docker-network.git

git clone https://github.com/OnePaaS/libchan.git

git clone https://github.com/OnePaaS/docker-py.git

git clone https://github.com/OnePaaS/docker.git

git clone https://github.com/OnePaaS/distribution.git

git clone https://github.com/OnePaaS/swarm.git

git clone https://github.com/OnePaaS/fleet.git

git clone https://github.com/OnePaaS/rkt.git

git clone https://github.com/OnePaaS/coreos-overlay.git

git clone https://github.com/OnePaaS/flannel.git

git clone https://github.com/OnePaaS/go-namespaces.git

git clone https://github.com/OnePaaS/go-namespaces.git

git clone https://github.com/OnePaaS/linux.git

git clone https://github.com/OnePaaS/kubernetes.git

https://github.com/GoogleCloudPlatform

#docker  rpm下载包地址
https://get.docker.com/rpm/1.7.1/centos-6/RPMS/x86_64/docker-engine-1.7.1-1.el6.x86_64.rpm

dstat 是一个可以取代vmstat，iostat，netstat和ifstat这些命令的多功能产品。dstat克服了这些命令的局限并增加了一些另外的功能，增加了监控项，也变得更灵活了。dstat可以很方便监控系统运行状况并用于基准测试和排除故障。

dstat可以让你实时地看到所有系统资源，例如，你能够通过统计IDE控制器当前状态来比较磁盘利用率，或者直接通过网络带宽数值来比较磁盘的吞吐率（在相同的时间间隔内）。

dstat将以列表的形式为你提供选项信息并清晰地告诉你是在何种幅度和单位显示输出。这样更好地避免了信息混乱和误报。更重要的是，它可以让你更容易编写插件来收集你想要的数据信息，以从未有过的方式进行扩展。

Dstat的默认输出是专门为人们实时查看而设计的，不过你也可以将详细信息通过CSV输出到一个文件，并导入到Gnumeric或者Excel生成表格中。

特性
结合了vmstat，iostat，ifstat，netstat以及更多的信息
实时显示统计情况
在分析和排障时可以通过启用监控项并排序
模块化设计
使用python编写的，更方便扩展现有的工作任务
容易扩展和添加你的计数器（请为此做出贡献）
包含的许多扩展插件充分说明了增加新的监控项目是很方便的
可以分组统计块设备/网络设备，并给出总数
可以显示每台设备的当前状态
极准确的时间精度，即便是系统负荷较高也不会延迟显示
显示准确地单位和和限制转换误差范围
用不同的颜色显示不同的单位
显示中间结果延时小于1秒
支持输出CSV格式报表，并能导入到Gnumeric和Excel以生成图形
安装方法
Ubuntu/Mint和Debin系统：

本地软件库中有相关安装包，你可以用下面命令安装：

# sudo apt-get install dstat
RHEL/Centos和Fedora系统:

你可以在romforge软件库中添加有相关安装包，参照指导，使用如下命令很简单就能进行安装：

# yum install dstat
ArchLinux系统：

相关软件包在社区资源库中，你可以用这个命令来安装：

# pacman -S dstat
使用方法
dstat的基本用法就是输入dstat命令，输出如下：


这是默认输出显示的信息：

CPU状态：CPU的使用率。这项报告更有趣的部分是显示了用户，系统和空闲部分，这更好地分析了CPU当前的使用状况。如果你看到"wait"一栏中，CPU的状态是一个高使用率值，那说明系统存在一些其它问题。当CPU的状态处在"waits"时，那是因为它正在等待I/O设备（例如内存，磁盘或者网络）的响应而且还没有收到。

磁盘统计：磁盘的读写操作，这一栏显示磁盘的读、写总数。

网络统计：网络设备发送和接受的数据，这一栏显示的网络收、发数据总数。

分页统计：系统的分页活动。分页指的是一种内存管理技术用于查找系统场景，一个较大的分页表明系统正在使用大量的交换空间，或者说内存非常分散，大多数情况下你都希望看到page in（换入）和page out（换出）的值是0 0。

系统统计：这一项显示的是中断（int）和上下文切换（csw）。这项统计仅在有比较基线时才有意义。这一栏中较高的统计值通常表示大量的进程造成拥塞，需要对CPU进行关注。你的服务器一般情况下都会运行运行一些程序，所以这项总是显示一些数值。

默认情况下，dstat每秒都会刷新数据。如果想退出dstat，你可以按"CTRL-C"键。

需要注意的是报告的第一行，通常这里所有的统计都不显示数值的。

这是由于dstat会通过上一次的报告来给出一个总结，所以第一次运行时是没有平均值和总值的相关数据。

但是dstat可以通过传递2个参数运行来控制报告间隔和报告数量。例如，如果你想要dstat输出默认监控、报表输出的时间间隔为3秒钟,并且报表中输出10个结果，你可以运行如下命令：

dstat 3 10
在dstat命令中有很多参数可选，你可以通过man dstat命令查看，大多数常用的参数有这些：

-l ：显示负载统计量
-m ：显示内存使用率（包括used，buffer，cache，free值）
-r ：显示I/O统计
-s ：显示交换分区使用情况
-t ：将当前时间显示在第一行
–fs ：显示文件系统统计数据（包括文件总数量和inodes值）
–nocolor ：不显示颜色（有时候有用）
–socket ：显示网络统计数据
–tcp ：显示常用的TCP统计
–udp ：显示监听的UDP接口及其当前用量的一些动态数据
当然不止这些用法，dstat附带了一些插件很大程度地扩展了它的功能。你可以通过查看/usr/share/dstat目录来查看它们的一些使用方法，常用的有这些：

-–disk-util ：显示某一时间磁盘的忙碌状况
-–freespace ：显示当前磁盘空间使用率
-–proc-count ：显示正在运行的程序数量
-–top-bio ：指出块I/O最大的进程
-–top-cpu ：图形化显示CPU占用最大的进程
-–top-io ：显示正常I/O最大的进程
-–top-mem ：显示占用最多内存的进程
举一些例子：

查看全部内存都有谁在占用：

dstat -g -l -m -s --top-mem
显示一些关于CPU资源损耗的数据：

dstat -c -y -l --proc-count --top-cpu
如何输出一个csv文件
想输出一个csv格式的文件用于以后，可以通过下面的命令：

# dstat –output /tmp/sampleoutput.csv -cdn
via: http://linuxaria.com/howto/linux-terminal-dstat-monitoring-tools

[root@localhost ~]# cd /etc/sudoers.d/
[root@localhost sudoers.d]# ls -alh
total 12K
drwxr-x---.  2 root root    6 Oct 30  2018 .
drwxr-xr-x. 85 root root 8.0K Aug 20 23:03 ..
[root@localhost sudoers.d]# pwd
/etc/sudoers.d
[root@localhost sudoers.d]#

[root@localhost sudoers.d]# touch student
[root@localhost sudoers.d]# chmod 400 student
[root@localhost sudoers.d]# pwd
/etc/sudoers.d
[root@localhost sudoers.d]#


在Linux中，文件权限由三组权限组成：所有者权限、群组权限和其他用户权限。每个权限组又包含读（r）、写（w）和执行（x）三个权限。

数字形式的权限表示方法是将每个权限用数字表示，r为4，w为2，x为1。然后将对应权限的数字相加即可得到该权限组的数字形式。

对于权限组400，它表示只有所有者拥有读权限，没有写权限和执行权限。其他用户和群组用户没有任何权限，即只有所有者可以读取该文件，其他用户无法访问。

Linux中的motd（Message of the Day）是一个文本文件，用于在用户登录系统时显示一条消息。motd文件通常位于/etc目录下，文件名为motd。

motd的作用和用途有以下几个方面：

1. 提供系统信息：motd可以用来显示系统的一些基本信息，如主机名、操作系统版本、内核版本等。这对于管理员来说是很有用的，可以快速了解系统的基本情况。

2. 提示系统状态：motd还可以用来显示系统的状态，如CPU负载、内存使用情况、磁盘空间等。这对于管理员来说是很有用的，可以及时发现系统的负载情况，以便进行调整和优化。

3. 发布公告：motd可以用来发布系统相关的公告，如计划维护时间、重要更新通知等。这对于用户来说是很有用的，可以及时了解系统维护和更新的情况。

4. 自定义消息：motd还可以用来显示自定义的消息，如欢迎信息、警告信息等。这对于管理员来说是很有用的，可以向用户发送特定的消息。

总的来说，motd在Linux系统中起到了提供系统信息、提示系统状态、发布公告和显示自定义消息的作用，使得用户和管理员能够更好地了解和管理系统。

Total:  reserved=664192KB,  committed=253120KB                                           <--- total memory tracked by Native Memory Tracking
 
-                 Java Heap (reserved=516096KB, committed=204800KB)                      <--- Java Heap
                            (mmap: reserved=516096KB, committed=204800KB)
 
-                     Class (reserved=6568KB, committed=4140KB)                          <--- class metadata
                            (classes #665)                                               <--- number of loaded classes
                            (malloc=424KB, #1000)                                        <--- malloc'd memory, #number of malloc
                            (mmap: reserved=6144KB, committed=3716KB)
 
-                    Thread (reserved=6868KB, committed=6868KB)
                            (thread #15)                                                 <--- number of threads
                            (stack: reserved=6780KB, committed=6780KB)                   <--- memory used by thread stacks
                            (malloc=27KB, #66)
                            (arena=61KB, #30)                                            <--- resource and handle areas
 
-                      Code (reserved=102414KB, committed=6314KB)
                            (malloc=2574KB, #74316)
                            (mmap: reserved=99840KB, committed=3740KB)
 
-                        GC (reserved=26154KB, committed=24938KB)
                            (malloc=486KB, #110)
                            (mmap: reserved=25668KB, committed=24452KB)
 
-                  Compiler (reserved=106KB, committed=106KB)
                            (malloc=7KB, #90)
                            (arena=99KB, #3)
 
-                  Internal (reserved=586KB, committed=554KB)
                            (malloc=554KB, #1677)
                            (mmap: reserved=32KB, committed=0KB)
 
-                    Symbol (reserved=906KB, committed=906KB)
                            (malloc=514KB, #2736)
                            (arena=392KB, #1)
 
-           Memory Tracking (reserved=3184KB, committed=3184KB)
                            (malloc=3184KB, #300)
 
-        Pooled Free Chunks (reserved=1276KB, committed=1276KB)
                            (malloc=1276KB)
 
-                   Unknown (reserved=33KB, committed=33KB)
                            (arena=33KB, #1)


这些数据提供了与内存使用情况相关的详细信息。下面是对每个数据字段的含义解释：

- Java Heap (Java堆): 这是Java虚拟机分配给Java应用程序的内存空间。它包括已保留的内存空间（reserved）和已使用的内存空间（committed）。

- Class (类): 这是用于存储Java类元数据的内存空间。它包括已保留的内存空间和已使用的内存空间。还提供了有关已加载类数量和通过malloc分配的内存大小的信息。

- Thread (线程): 这是用于存储线程相关数据的内存空间。它包括已保留的内存空间和已使用的内存空间。还提供了有关线程数量、线程堆栈内存使用情况、通过malloc分配的内存大小以及资源和句柄区域内存大小的信息。

- Code (代码): 这是用于存储Java应用程序的字节码和本地代码的内存空间。它包括通过malloc分配的内存大小和通过mmap分配的内存大小。

- GC (垃圾回收): 这是用于存储垃圾回收相关数据的内存空间。它包括通过malloc分配的内存大小和通过mmap分配的内存大小。

- Compiler (编译器): 这是用于存储编译

器相关数据的内存空间。它包括通过malloc分配的内存大小和通过arena分配的内存大小。

- Internal (内部): 这是用于存储内部数据结构和状态的内存空间。它包括通过malloc分配的内存大小和通过mmap分配的内存大小。

- Symbol (符号): 这是用于存储Java符号（如类名、方法名等）的内存空间。它包括通过malloc分配的内存大小和通过arena分配的内存大小。

- Memory Tracking (内存跟踪): 这是用于跟踪内存使用情况的内存空间。它包括通过malloc分配的内存大小。

- Pooled Free Chunks (空闲块池): 这是用于存储空闲内存块的内存空间。它包括通过malloc分配的内存大小。

- Unknown (未知): 这是无法归类到其他内存空间类型的内存空间。它包括通过arena分配的内存大小。

总体而言，这些数据提供了不同类型内存空间的使用情况，帮助我们了解Java应用程序的内存消耗情况以及各个内存区域的分配情况。



JVM堆外内存主要由以下部分组成：

1. 直接内存（Direct Memory）：直接内存是一种堆外内存，它是通过使用Java NIO（New Input/Output）库来分配的。直接内存是由操作系统直接分配和管理的，不受JVM堆大小的限制。它可以通过ByteBuffer类来访问和操作。

2. 本地方法栈（Native Method Stack）：本地方法栈也是一种堆外内存，用于存储Java程序中调用本地方法（Native Method）时的数据和状态。本地方法栈是线程私有的，每个线程都有自己的本地方法栈。

3. 线程栈（Thread Stack）：线程栈也是一种堆外内存，用于存储线程执行方法时的数据和状态。线程栈是线程私有的，每个线程都有自己的线程栈。

4. 程序计数器（Program Counter）：程序计数器也是一种堆外内存，用于存储当前线程执行的字节码指令地址。程序计数器是线程私有的，每个线程都有自己的程序计数器。

这些部分组成了JVM堆外内存，它们在JVM的运行过程中发挥重要的作用。

# Here maven uses the default version of Java on the system but we specify that we want to analyze a Java 8 project.
mvn clean verify sonar:sonar \
  # other analysis parameters
  -Dsonar.java.jdkHome=/usr/lib/jvm/java-8-openjdk/
  # other analysis parameters

mvn -Dsonar.coverage.jacoco.xmlReportPaths=
      ../app-it/target/site/jacoco-aggregate/jacoco.xml
    sonar:sonar -Pcoverage

(base) heidsoft@dev01:~$ cat values.yaml 
---
# Permit co-located instances for solitary minikube virtual machines.
antiAffinity: "soft"

# Shrink default JVM heap.
esJavaOpts: "-Xmx128m -Xms128m"

# Allocate smaller chunks of memory per pod.
resources:
  requests:
    cpu: "100m"
    memory: "512M"
  limits:
    cpu: "1000m"
    memory: "512M"

# Request smaller persistent volumes.
volumeClaimTemplate:
  accessModes: [ "ReadWriteOnce" ]
  storageClassName: "standard"
  resources:
    requests:
      storage: 100M

说明：
netstat命令用于显示各种网络相关信息，如网络连接，路由表，接口状态 (Interface Statistics)，masquerade 连接，多播成员 (Multicast Memberships) 等等。

语法：

  -a或--all   显示所有连线中的Socket。
  -A<网络类型>或--<网络类型>   列出该网络类型连线中的相关地址。
  -c或--continuous   持续列出网络状态。
  -C或--cache   显示路由器配置的快取信息。
  -e或--extend   显示网络其他相关信息。
  -F或--fib   显示FIB。
  -g或--groups   显示多重广播功能群组组员名单。
  -h或--help   在线帮助。
  -i或--interfaces   显示网络界面信息表单。
  -l或--listening   显示监控中的服务器的Socket。
  -M或--masquerade   显示伪装的网络连线。
  -n或--numeric   直接使用IP地址，而不通过域名服务器。
  -N或--netlink或--symbolic   显示网络硬件外围设备的符号连接名称。
  -o或--timers   显示计时器。
  -p或--programs   显示正在使用Socket的程序识别码和程序名称。
  -r或--route   显示Routing Table。
  -s或--statistice   显示网络工作信息统计表。
  -t或--tcp   显示TCP传输协议的连线状况。
  -u或--udp   显示UDP传输协议的连线状况。
  -v或--verbose   显示指令执行过程。
  -V或--version   显示版本信息。
  -w或--raw   显示RAW传输协议的连线状况。
  -x或--unix   此参数的效果和指定"-A unix"参数相同。
  --ip或--inet   此参数的效果和指定"-A inet"参数相同。
 
实例：
1.列出所有端口 netstat -a(包括监听和未监听的)；列出所有tcp端口netstat -at；列出所有udp端口netstat -au

# netstat -a | more
 Active Internet connections (servers and established)
 Proto Recv-Q Send-Q Local Address           Foreign Address         State
 tcp        0      0 localhost:30037         *:*                     LISTEN
 udp        0      0 *:bootpc                *:*

Active UNIX domain sockets (servers and established)
 Proto RefCnt Flags       Type       State         I-Node   Path
 unix  2      [ ACC ]     STREAM     LISTENING     6135     /tmp/.X11-unix/X0
 unix  2      [ ACC ]     STREAM     LISTENING     5140     /var/run/acpid.socket
 
2.列出所有处于监听状态的 Sockets

# netstat -l
 Active Internet connections (only servers)
 Proto Recv-Q Send-Q Local Address           Foreign Address         State
 tcp        0      0 localhost:ipp           *:*                     LISTEN
 tcp6       0      0 localhost:ipp           [::]:*                  LISTEN
 udp        0      0 *:49119                 *:*
 
3.只列出所有监听tcp端口 netstat -lt；列出所有监听udp端口使用netstat -lu；列出所有监听UNIX端口使用netstat -lx

# netstat -lt
 Active Internet connections (only servers)
 Proto Recv-Q Send-Q Local Address           Foreign Address         State
 tcp        0      0 localhost:30037         *:*                     LISTEN
 tcp        0      0 *:smtp                  *:*                     LISTEN
 tcp6       0      0 localhost:ipp           [::]:*                  LISTEN
 
4.显示所有端口的统计信息 netstat -s；显示TCP或UDP端口的统计信息使用netstat -st 或 -su

# netstat -s
 Ip:
 11150 total packets received
 1 with invalid addresses
 0 forwarded
 0 incoming packets discarded
 11149 incoming packets delivered
 11635 requests sent out
 Icmp:
 0 ICMP messages received
 0 input ICMP message failed.
 Tcp:
 582 active connections openings
 2 failed connection attempts
 25 connection resets received
 Udp:
 1183 packets received
 4 packets to unknown port received.
 .....
 
5.在netstat 输出中显示 PID 和进程名称 netstat -p。netstat -p 可以与其它开关一起使用，就可以添加 “PID/进程名称” 到 netstat 输出中，这样 debugging 的时候可以很方便的发现特定端口运行的程序。

# netstat -pt
 Active Internet connections (w/o servers)
 Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
 tcp        1      0 ramesh-laptop.loc:47212 192.168.185.75:www        CLOSE_WAIT  2109/firefox
 tcp        0      0 ramesh-laptop.loc:52750 lax:www ESTABLISHED 2109/firefox
 
6. 在 netstat 输出中不显示主机，端口和用户名 (host, port or user)
当你不想让主机，端口和用户名显示，使用 netstat -n。将会使用数字代替那些名称，这样可以加速输出，因为不用进行比对查询。

# netstat -an
如果只是不想让这三个名称中的一个被显示，使用以下命令
# netsat -a --numeric-ports
# netsat -a --numeric-hosts
# netsat -a --numeric-users
 
7.持续输出 netstat 信息

# netstat -c  //netstat将每隔一秒输出网络信息。
 Active Internet connections (w/o servers)
 Proto Recv-Q Send-Q Local Address           Foreign Address         State
 tcp        0      0 ramesh-laptop.loc:36130 101-101-181-225.ama:www ESTABLISHED
 tcp        1      1 ramesh-laptop.loc:52564 101.11.169.230:www      CLOSING
 tcp        0      0 ramesh-laptop.loc:43758 server-101-101-43-2:www ESTABLISHED
 tcp        1      1 ramesh-laptop.loc:42367 101.101.34.101:www      CLOSING
 
8. 显示系统不支持的地址族 (Address Families)

# netstat --verbose  //在输出的末尾，会有如下的信息
netstat: no support for `AF IPX' on this system.
netstat: no support for `AF AX25' on this system.
netstat: no support for `AF X25' on this system.
netstat: no support for `AF NETROM' on this system.
 
9.显示核心路由信息 netstat -r

# netstat -r
 Kernel IP routing table
 Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface
 192.168.1.0     *               255.255.255.0   U         0 0          0 eth2
 link-local      *               255.255.0.0     U         0 0          0 eth2
 default         192.168.1.1     0.0.0.0         UG        0 0          0 eth2
注意： 使用 netstat -rn 显示数字格式，不查询主机名称。
 
10.找出程序运行的端口。并不是所有的进程都能找到，没有权限的会不显示，使用 root 权限查看所有的信息。

# netstat -ap | grep ssh
 tcp        1      0 dev-db:ssh           101.174.100.22:39213        CLOSE_WAIT  -
 tcp        1      0 dev-db:ssh           101.174.100.22:57643        CLOSE_WAIT  -
找出运行在指定端口的进程
# netstat -an | grep ':80'
 
11. 显示网络接口列表

# netstat -i
 Kernel Interface table
 Iface   MTU Met   RX-OK RX-ERR RX-DRP RX-OVR    TX-OK TX-ERR TX-DRP TX-OVR Flg
 eth0       1500 0         0      0      0 0             0      0      0      0 BMU
 eth2       1500 0     26196      0      0 0         26883      6      0      0 BMRU
 lo        16436 0         4      0      0 0             4      0      0      0 LRU
显示详细信息，像是 ifconfig 使用 netstat -ie:
# netstat -ie
 Kernel Interface table
 eth0      Link encap:Ethernet  HWaddr 00:10:40:11:11:11
 UP BROADCAST MULTICAST  MTU:1500  Metric:1
 RX packets:0 errors:0 dropped:0 overruns:0 frame:0
 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
 collisions:0 txqueuelen:1000
 RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)
 Memory:f6ae0000-f6b00000
 
12.IP和TCP分析，查看连接某服务端口最多的的IP地址

# netstat -nat | grep "192.168.1.15:22" |awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -nr|head -20
18 221.136.168.36
3 154.74.45.242
2 78.173.31.236
2 62.183.207.98
2 192.168.1.14
2 182.48.111.215
2 124.193.219.34
2 119.145.41.2
2 114.255.41.30
1 75.102.11.99
 
13.查看TCP各种状态列表

# netstat -nat |awk '{print $6}'｜sort|uniq
established)
Foreign
LISTEN
TIME_WAIT
ESTABLISHED
TIME_WAIT
SYN_SENT
先把状态全都取出来,然后使用uniq -c统计，之后再进行排序。
# netstat -nat |awk '{print $6}'|sort|uniq -c
143 ESTABLISHED
1 FIN_WAIT1
1 Foreign
1 LAST_ACK
36 LISTEN
6 SYN_SENT
113 TIME_WAIT
1 established)
 
14.分析access.log获得访问前10位的ip地址

# awk '{print $1}' access.log |sort|uniq -c|sort -nr|head -10

server {
    listen       80;
    server_name  www.ngcloud.cc;

    charset utf-8;
    access_log  /var/log/nginx/ngcloud.access.log  main;
   
    location / {
         proxy_pass   http://127.0.0.1:18080;
    }

    #配置一个静态web服务，web服务使用前端路由
    location /cmp {
        alias   /opt/ngcloud/dist;
        index  index.html index.htm;
    }
    
    #执行正则匹配，区分大小写，匹配多有，但符合.jpg .jpeg 等结尾的后缀时，执行该规则
    location  ~ .*\.(jpg|jpeg|gif|png|ico|css|js|pdf|txt)$ {
       root /opt/ngcloud/dist;
       expires 30d;
    }

    #error_page  404              /404.html;

    # redirect server error pages to the static page /50x.html
    #
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/share/nginx/html;
    }

    # proxy the PHP scripts to Apache listening on 127.0.0.1:80
    #
    #location ~ \.php$ {
    #    proxy_pass   http://127.0.0.1;
    #}

    # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
    #
    #location ~ \.php$ {
    #    root           html;
    #    fastcgi_pass   127.0.0.1:9000;
    #    fastcgi_index  index.php;
    #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
    #    include        fastcgi_params;
    #}

    # deny access to .htaccess files, if Apache's document root
    # concurs with nginx's one
    #
    #location ~ /\.ht {
    #    deny  all;
    #}
}

$ mkdir $HOME/some_clickhouse_database
$ docker run -d --name some-clickhouse-server --ulimit nofile=262144:262144 --volume=$HOME/some_clickhouse_database:/var/lib/clickhouse yandex/clickhouse-server 

root@dev01:/var/log/filebeat# cat /etc/filebeat/filebeat.yml
###################### Filebeat Configuration Example #########################

# This file is an example configuration file highlighting only the most common
# options. The filebeat.reference.yml file from the same directory contains all the
# supported options with more comments. You can use it as a reference.
#
# You can find the full configuration reference here:
# https://www.elastic.co/guide/en/beats/filebeat/index.html

# For more available modules and options, please see the filebeat.reference.yml sample
# configuration file.

# ============================== Filebeat inputs ===============================

filebeat.inputs:

# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.

# filestream is an input for collecting log messages from files.
- type: filestream

  # Unique ID among all inputs, an ID is required.
  id: my-filestream-id

  # Change to true to enable this input configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /var/log/nginx/*.log
    #- c:\programdata\elasticsearch\logs\*

  # Exclude lines. A list of regular expressions to match. It drops the lines that are
  # matching any regular expression from the list.
  # Line filtering happens after the parsers pipeline. If you would like to filter lines
  # before parsers, use include_message parser.
  #exclude_lines: ['^DBG']

  # Include lines. A list of regular expressions to match. It exports the lines that are
  # matching any regular expression from the list.
  # Line filtering happens after the parsers pipeline. If you would like to filter lines
  # before parsers, use include_message parser.
  #include_lines: ['^ERR', '^WARN']

  # Exclude files. A list of regular expressions to match. Filebeat drops the files that
  # are matching any regular expression from the list. By default, no files are dropped.
  #prospector.scanner.exclude_files: ['.gz$']

  # Optional additional fields. These fields can be freely picked
  # to add additional information to the crawled log files for filtering
  #fields:
  #  level: debug
  #  review: 1

# ============================== Filebeat modules ==============================

filebeat.config.modules:
  # Glob pattern for configuration loading
  path: ${path.config}/modules.d/*.yml

  # Set to true to enable config reloading
  reload.enabled: true

  # Period on which files under path should be checked for changes
  #reload.period: 10s

# ======================= Elasticsearch template setting =======================

setup.template.settings:
  index.number_of_shards: 1
  #index.codec: best_compression
  #_source.enabled: false


# ================================== General ===================================

# The name of the shipper that publishes the network data. It can be used to group
# all the transactions sent by a single shipper in the web interface.
#name:

# The tags of the shipper are included in their own field with each
# transaction published.
#tags: ["service-X", "web-tier"]

# Optional fields that you can specify to add additional information to the
# output.
#fields:
#  env: staging

# ================================= Dashboards =================================
# These settings control loading the sample dashboards to the Kibana index. Loading
# the dashboards is disabled by default and can be enabled either by setting the
# options here or by using the `setup` command.
#setup.dashboards.enabled: false

# The URL from where to download the dashboards archive. By default this URL
# has a value which is computed based on the Beat name and version. For released
# versions, this URL points to the dashboard archive on the artifacts.elastic.co
# website.
#setup.dashboards.url:

# =================================== Kibana ===================================

# Starting with Beats version 6.0.0, the dashboards are loaded via the Kibana API.
# This requires a Kibana endpoint configuration.
setup.kibana:

  # Kibana Host
  # Scheme and port can be left out and will be set to the default (http and 5601)
  # In case you specify and additional path, the scheme is required: http://localhost:5601/path
  # IPv6 addresses should always be defined as: https://[2001:db8::1]:5601
  #host: "localhost:5601"

  # Kibana Space ID
  # ID of the Kibana Space into which the dashboards should be loaded. By default,
  # the Default Space will be used.
  #space.id:

# =============================== Elastic Cloud ================================

# These settings simplify using Filebeat with the Elastic Cloud (https://cloud.elastic.co/).

# The cloud.id setting overwrites the `output.elasticsearch.hosts` and
# `setup.kibana.host` options.
# You can find the `cloud.id` in the Elastic Cloud web UI.
#cloud.id:

# The cloud.auth setting overwrites the `output.elasticsearch.username` and
# `output.elasticsearch.password` settings. The format is `<user>:<pass>`.
#cloud.auth:

# ================================== Outputs ===================================

# Configure what output to use when sending the data collected by the beat.

# ---------------------------- Elasticsearch Output ----------------------------
#output.elasticsearch:
  # Array of hosts to connect to.
  # hosts: ["localhost:9200"]

  # Protocol - either `http` (default) or `https`.
  #protocol: "https"

  # Authentication credentials - either API key or username/password.
  #api_key: "id:api_key"
  #username: "elastic"
  #password: "changeme"

# ------------------------------ Logstash Output -------------------------------
#output.logstash:
  # The Logstash hosts
  #hosts: ["localhost:5044"]

  # Optional SSL. By default is off.
  # List of root certificates for HTTPS server verifications
  #ssl.certificate_authorities: ["/etc/pki/root/ca.pem"]

  # Certificate for SSL client authentication
  #ssl.certificate: "/etc/pki/client/cert.pem"

  # Client Certificate Key
  #ssl.key: "/etc/pki/client/cert.key"

# ------------------------------ kafka output ----------------------------------
output.kafka:
  # initial brokers for reading cluster metadata
  hosts: ["192.168.21.129:9092"]
  #sasl.mechanism: scram-sha-256
  version: "0.10.2.1"
  # message topic selection + partitioning
  topic: 'senz'
  partition.round_robin:
    reachable_only: false

  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000
        

# ================================= Processors =================================
processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

# ================================== Logging ===================================

# Sets log level. The default log level is info.
# Available log levels are: error, warning, info, debug
#logging.level: debug

# At debug level, you can selectively enable logging only for some components.
# To enable all selectors use ["*"]. Examples of other selectors are "beat",
# "publisher", "service".
#logging.selectors: ["*"]

# ============================= X-Pack Monitoring ==============================
# Filebeat can export internal metrics to a central Elasticsearch monitoring
# cluster.  This requires xpack monitoring to be enabled in Elasticsearch.  The
# reporting is disabled by default.

# Set to true to enable the monitoring reporter.
#monitoring.enabled: false

# Sets the UUID of the Elasticsearch cluster under which monitoring data for this
# Filebeat instance will appear in the Stack Monitoring UI. If output.elasticsearch
# is enabled, the UUID is derived from the Elasticsearch cluster referenced by output.elasticsearch.
#monitoring.cluster_uuid:

# Uncomment to send the metrics to Elasticsearch. Most settings from the
# Elasticsearch output are accepted here as well.
# Note that the settings should point to your Elasticsearch *monitoring* cluster.
# Any setting that is not set is automatically inherited from the Elasticsearch
# output configuration, so if you have the Elasticsearch output configured such
# that it is pointing to your Elasticsearch monitoring cluster, you can simply
# uncomment the following line.
#monitoring.elasticsearch:

# ============================== Instrumentation ===============================

# Instrumentation support for the filebeat.
#instrumentation:
    # Set to true to enable instrumentation of filebeat.
    #enabled: false

    # Environment in which filebeat is running on (eg: staging, production, etc.)
    #environment: ""

    # APM Server hosts to report instrumentation results to.
    #hosts:
    #  - http://localhost:8200

    # API Key for the APM Server(s).
    # If api_key is set then secret_token will be ignored.
    #api_key:

    # Secret token for the APM Server(s).
    #secret_token:


# ================================= Migration ==================================

# This allows to enable 6.7 migration aliases
#migration.6_to_7.enabled: true

logging.level: info
logging.to_files: true
logging.files:
  path: /var/log/filebeat
  name: filebeat
  keepfiles: 7
  permissions: 0644

create table if not exists nginx.jsonlog_prod (
    `time` String,
    `msec` String,
    `remote_addr` String,
    `domain` String,
    `request_method` String,
    `uri` String,
    `status` String,
    `bytes_sent` String,
    `request_length` String,
    `request_time` String,
    `upstream_bytes_received` String,
    `proxy_host` String,
    `upstream_addr` String,
    `upstream_status` String,
    `upstream_header_time` String,
    `upstream_connect_time` String,
    `app` String,
    `upstream_addr_jyg` String,
    `upstream_response_time` String,
    `api` String,
    `rewrite` String,
    `serverip` String
)engine=Kafka()
SETTINGS
kafka_broker_list = '192.168.21.129:9092',
kafka_topic_list = 'senz',
kafka_group_name = 'nginx',
kafka_format = 'JSONEachRow',
kafka_num_consumers = 2,
kafka_thread_per_consumer = 1,
kafka_max_block_size = 262020,
kafka_commit_every_batch = 1;



CREATE TABLE queue (
`time` String,
`msec` String,
`remote_addr` String,
`domain` String,
`request_method` String,
`uri` String,
`status` String,
`bytes_sent` String,
`request_length` String,
`request_time` String,
`upstream_bytes_received` String,
`proxy_host` String,
`upstream_addr` String,
`upstream_status` String,
`upstream_header_time` String,
`upstream_connect_time` String,
`app` String,
`upstream_addr_jyg` String,
`upstream_response_time` String,
`api` String,
`rewrite` String,
`serverip` String
) ENGINE = Kafka('192.168.21.129:9092', 'senz', 'nginx', 'JSONEachRow');



create table if not exists nginx.nginx_prod (
    `time` DateTime,
    `msec` Float64,
    `remote_addr` String,
    `host` String,
    `request_method` String,
    `uri` String,
    `status` UInt16,
    `bytes_sent` UInt32,
    `request_length` UInt32,
    `request_time` Float64,
    `upstream_bytes_received` UInt32,
    `proxy_host` String,
    `upstream_addr` String,
    `upstream_status` UInt16,
    `upstream_header_time` Float64,
    `upstream_connect_time` Float64,
    `app` String,
    `upstream_addr_jyg` String,
    `upstream_response_time` Float64,
    `api` String,
    `rewrite` String,
    `serverip` String
)engine=MergeTree()
partition by toYYYYMMDD(time)
order by time
TTL time + INTERVAL 24 HOUR;



CREATE MATERIALIZED VIEW nginx.queue_to_nginx_prod TO nginx.nginx_prod AS
SELECT
    toDateTime(substring(time,1,19)) as time,
    toFloat64OrZero(msec) as msec,
    remote_addr,
    domain as host,
    request_method,
    uri,
    toUInt16OrZero(status) as status,
    toUInt32OrZero(bytes_sent) as bytes_sent,
    toUInt32OrZero(request_length) as request_length,
    toFloat64OrZero(request_time) as request_time,
    toUInt32OrZero(upstream_bytes_received) as upstream_bytes_received,
    proxy_host,
    upstream_addr,
    toUInt16OrZero(upstream_status) as upstream_status,
    toFloat64OrZero(upstream_header_time) as upstream_header_time,
    toFloat64OrZero(upstream_connect_time) as upstream_connect_time,
    app,
    upstream_addr_jyg,
    toFloat64OrZero(upstream_response_time) as upstream_response_time,
    api,
    rewrite,
    serverip
FROM nginx.queue;



1e768b6a5ce0 :) select * from nginx_prod order by time desc limit 1 \G

SELECT *
FROM nginx_prod
ORDER BY time DESC
LIMIT 1

Query id: 56448515-c279-424c-9e12-9a3f7eb528d4

Row 1:
──────
time:                    2023-04-21 15:41:06
msec:                    1682062866.168
remote_addr:             127.0.0.1
host:                    
request_method:          GET
uri:                     /index.nginx-debian.html
status:                  200
bytes_sent:              859
request_length:          73
request_time:            0
upstream_bytes_received: 0
proxy_host:              
upstream_addr:           
upstream_status:         0
upstream_header_time:    0
upstream_connect_time:   0
app:                     
upstream_addr_jyg:       
upstream_response_time:  0
api:                     
rewrite:                 
serverip:    




SELECT
  host,
  api,
  app,
  status,
  quantilesTiming(0.50,0.90,0.95,0.99)(request_time*1000) as reqtime,
  stddevSamp(request_time) as stdreqtime,
  quantilesTiming(0.50,0.90,0.95,0.99)(upstream_bytes_received) as received,
  stddevSamp(upstream_bytes_received) as stdreceived,
  count() as n
FROM  nginx.nginx_prod
GROUP by
  host,
  api,
  app,
  status
ORDER by
  n desc;


  SELECT
  host,
  api,
  app,
  status,
  quantilesTiming(0.5, 0.9, 0.95, 0.99)(request_time * 1000) AS reqtime,
  stddevSamp(request_time) AS stdreqtime,
  quantilesTiming(0.5, 0.9, 0.95, 0.99)(upstream_bytes_received) AS received,
  stddevSamp(upstream_bytes_received) AS stdreceived,
  count() AS n
FROM nginx.nginx_prod
GROUP BY
  host,
  api,
  app,
  status
ORDER BY n DESC

Query id: 32f22f58-4096-45ff-8714-1cbcc3eaf1e2

┌─host─┬─api─┬─app─┬─status─┬─reqtime───┬─stdreqtime─┬─received──┬─stdreceived─┬──n─┐
│      │     │     │    200 │ [0,0,0,0] │          0 │ [0,0,0,0] │           0 │ 18 │
└──────┴─────┴─────┴────────┴───────────┴────────────┴───────────┴─────────────┴────┘

1 rows in set. Elapsed: 0.040 sec. 

1、模拟master主机进程挂掉
2、模拟master主机突然关机
3、模拟master 系统卡住（命令：echo c > /proc/sysrq-trigger）
4、模拟master 系统CPU负载高stress -c 64
5、模拟master 系统内存使用启stress --vm 20 --vm-bytes 6G --timeout 180                 # 120G内存，持续180秒
6、模拟master 系统IO很高stress --io 20

Redis默认配置是不需要密码认证的，也就是说只要连接的Redis服务器的host和port正确，就可以连接使用。这在安全性上会有一定的问题，所以需要启用Redis的认证密码，增加Redis服务器的安全性。


1. 修改配置文件
Redis的配置文件默认在/etc/redis.conf，找到如下行：

#requirepass foobared
去掉前面的注释，并修改为所需要的密码：

requirepass myPassword

2. 重启Redis
如果Redis已经配置为service服务，可以通过以下方式重启：

service redis restart
如果Redis没有配置为service服务，可以通过以下方式重启：

/usr/local/bin/redis-cli shutdown
/usr/local/bin/redis-server /etc/redis.conf

3. 登录验证
设置Redis认证密码后，客户端登录时需要使用-a参数输入认证密码，不添加该参数虽然也可以登录成功，但是没有任何操作权限。如下：

$ ./redis-cli -h 127.0.0.1 -p 6379
127.0.0.1:6379> keys *
(error) NOAUTH Authentication required.
使用密码认证登录，并验证操作权限：

$ ./redis-cli -h 127.0.0.1 -p 6379 -a myPassword
127.0.0.1:6379> config get requirepass
1) "requirepass"
2) "myPassword"
看到类似上面的输出，说明Reids密码认证配置成功。

除了按上面的方式在登录时，使用-a参数输入登录密码外。也可以不指定，在连接后进行验证：

$ ./redis-cli -h 127.0.0.1 -p 6379
127.0.0.1:6379> auth myPassword
OK
127.0.0.1:6379> config get requirepass
1) "requirepass"
2) "myPassword"
127.0.0.1:6379> 

4. 在命令行客户端配置密码
前面介绍了通过�redis.conf配置密码，这种配置方式需要重新启动Redis。也可以通命令行客户端配置密码，这种配置方式不用重新启动Redis。配置方式如下：

127.0.0.1:6379> config set requirepass newPassword
OK
127.0.0.1:6379> config get requirepass
1) "requirepass"
2) "newPassword"
注意：使用命令行客户端配置密码，重启Redis后仍然会使用�redis.conf配置文件中的密码。


5. 在Redis集群中使用认证密码
如果Redis服务器，使用了集群。除了在master中配置密码外，也需要在slave中进行相应配置。在slave的配置文件中找到如下行，去掉注释并修改与master相同的密码即可：

# masterauth master-password

#!/bin/bash

# install CUDA Toolkit v8.0
# instructions from https://developer.nvidia.com/cuda-downloads (linux -> x86_64 -> Ubuntu -> 16.04 -> deb (network))
CUDA_REPO_PKG="cuda-repo-ubuntu1604_8.0.61-1_amd64.deb"
wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/${CUDA_REPO_PKG}
sudo dpkg -i ${CUDA_REPO_PKG}
sudo apt-get update
sudo apt-get -y install cuda

# install cuDNN v6.0
CUDNN_TAR_FILE="cudnn-8.0-linux-x64-v6.0.tgz"
wget http://developer.download.nvidia.com/compute/redist/cudnn/v6.0/${CUDNN_TAR_FILE}
tar -xzvf ${CUDNN_TAR_FILE}
sudo cp -P cuda/include/cudnn.h /usr/local/cuda-8.0/include
sudo cp -P cuda/lib64/libcudnn* /usr/local/cuda-8.0/lib64/
sudo chmod a+r /usr/local/cuda-8.0/lib64/libcudnn*

# set environment variables
export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64\${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

CREATE USER 'username'@'%' IDENTIFIED BY 'password';

GRANT ALL PRIVILEGES ON *.* TO 'username'@'%' WITH GRANT OPTION;

FLUSH PRIVILEGES;