平武建站

ES个人虚拟机集群安装步骤

本篇内容主要讲解“ES个人虚拟机集群安装步骤”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“ES个人虚拟机集群安装步骤”吧!

创新互联长期为超过千家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为临沧企业提供专业的成都网站设计、成都网站制作，临沧网站改版等技术服务。拥有十载丰富建站经验和众多成功案例,为您定制开发。

ES个人虚拟机集群安装

  • 环境配置篇

    • 操作系统选择

    • 系统环境设置

    • Jvm环境变量

    • Elasticsearch安装配置

    • kibana安装配置

    • 推荐centos7.x或者ubuntu18.x

    • 命令：配置文件：/etc/sysctl.conf
      #禁用内存与硬盘交换，需要运维帮助设置，不同环境可能设置不同
      vm.swappiness=1
      #设置虚拟内存大小
      vm.max_map_count=262144

    • 命令：配置文件：/etc/security/limits.conf； 星号代表用户
      #进程线程数
      * soft nproc 131072
      * hard nproc 131072
      #文件句柄数
      * soft nofile 131072
      * hard nofile 131072
      #内存锁定交换
      * soft memlock unlimited
      * hard memlock unlimited

    • 命令：
      #创建ES账号，如elastic
      useradd elastic
      #授权ES程序目录elastic账号权限
      #假设ES程序目录、数据目录、日志目录都在/gpes目录下
      chown -R elastic:elastic gpes/*

    • 禁用内存交换，防止内存不够，交换到磁盘，导致磁盘IO占用和性能下降内存锁定

    • mmpfile存储内存需要，不配置可能起不来

    • 设置进程线程限制，ES进程内置多种线程池，线程数量多

    • 设置文件句柄值，ES索引由很多文件组成，打开文件数量多

    • Linux下非root账号，安全限制

    • 命令

    • ES相关程序需要开启很多端口http、tcp

    • service firewalld stop

    • chkconfig firewalld off

    • 配置完成后，需要重启系统

    • 1. 防火必须关闭：

    • 2. 设置虚拟内存大小

    • 命令：配置文件：/etc/profile；注意配置中格式是否正确例如分号和java_home位置
      #ES最新版本自带jdk版本，默认可以不需要配置，建议配置，便于安装其他java程序辅助
      #本内容中要求安装JDK14.X
      export JAVA_HOME=/gpes/jdk.xxx.xx
      export JRE_HOME=$JAVA_HOME/jre
      export PATH=$JAVA_HOME/bin;$PATH
      export CLASSPATH=.;$JAVA_HOME/lib;$JRE_HOME/lib

    • 负责无法使用常用自定义java命令，如jconsole，jps等

    • cd ${ES_HOME}/jdk/bin

    • ./java -version

    • ES默认自带JDK，默认环境下，无需设置，查看自带OPEN JDK版本

    • 建议设置Java环境变量

    • Java环境变量: 个人设置一定要与官方推荐jdk版本一致

    • elasticsearch.yml 核心配置文件、节点实例属性参数

    • jvm.options 配置堆栈参数等

    • log4j2.properties 日志常规配置、默认就好

    • 其他

    • 集群名称： 默认无需设置，建议设置

    • 节点名称：单实例不用设置，集群下必须区分设置，建议设置

    • IP地址：必须设置，默认仅限本地访问

    • 访问端口：http端口默认无需设置，tcp端口，默认需求设置

    • 集群发现：

    • 数据目录

    • 日志目录

    • 内存锁定

    • 线程数或者处理器数：cpu和内存建议值为1:4

    • discovery.xxx 单节点无需配置

    • cluster.xxx 单节点默认可无需配置

    • 多磁盘目录设置，path.data可设置数组，可优化点

    • 默认目录，生产环境指向磁盘

    • 默认未设置，建议必须设置

    • 默认参数无需修改

    • 处理器数量设置慎重，决定线程池大小

    • 命令：配置文件： {ES_HOME}/config/elaticsearch.yml
      #集群名称，默认可以不修改，建议设置
      cluster.name:gpes01
      #节点名称，必须修改，默认修改为当前机器名称，集群下必须区分设置
      node.name:gpes_${HOSTNAME}
      #IP地址，默认是local，仅限本地访问，外网不可访问，设置0.0.0.0通用做法
      network.host:0.0.0.0
      #访问端口，默认http为9200，tcp为9300，建议明确指定
      http.port:9200
      transport.port:9300
      #数据目录与日志目录，默认在当前运行程序下，生产环境需要制定
      #  path.data:/path/to/data
      #path.logs:/path/to/logs
      #内存交换锁定，此处需要操作系统设置才生效
      bootstrap.memory_lock:true
      #防止批量删除索引
      action.destructive_requires_name:true
      #设置处理器数量，默认无需设置，单机器多实例需要设置
      node.processors:4
      #集群发现配置
      # discovery.seed_hosts:["192.168.86.102:9300"]
      cluster.initial_master_nodes:["192.168.86.102:9300"]
       

    • JDK选择

    • GC选择

    • 堆栈大小

    • GC日志

    • gc.log路径设置

    • 自主配置或者自带，自主配置的版本一定要与自带的JDK版本一致

    • 7.8.1已经采集G1; 原则JDK14以上采用G1，14以下采用CMS

    • 不超过1/2系统内存

    • 空余1/2闲置内存

    • 内存上线不超过32G，且不能等于32G，JVM原因导致不能超过32G

    • 命令：配置文件：{ES_HOME}/config/jvm.options
      #内存堆栈大小，不能超过1/2系统内存，多实例要谨慎
      -Xms 1g
      -Xmx 1g
      #垃圾回收器 CMS与G1，当前CMS依然最好
      8-13:-XX:+UseConcMarkSweepGC
      14:-XX:+UseG1GC
      #GC.log目录，便于排查gc问题，生产需要修改路径指向
      8:-Xloggc:logs/gc.log

    • 帐户安全/动态生成/keystore安全文件

    • 启动ES脚本

    • 当前窗口启动： ./elasticsearch

    • 后台进程启动： ./elasticsearch -d

    • wins系统：elasticsearch.bat

    • linux系统：

    • bin

    • config

    • jdk

    • lib/modules

    • plugins

    • 其他

    • 启动脚本、常用工具脚本

    • 配置

    • 自动jdk，可选用，是openjdk

    • 程序包

    • 自有插件、三方插件

    • data，默认数据

    • logs，默认日志

    • ES文件目录

    • 脚本命令

    • 配置文件

    • bin：启动脚本、常用工具脚本

    • config：文件配置: {KIBANA_HOME}/config/kibana.yml
      #访问端口，默认无需修改
      server.port:5601
      #访问地址IP，默认本地
      server.host:"192.168.86.102"
      #ES服务指向，集群下配置多个
      elasticsearch.hosts:["http://192.168.86.102:9200"]
      #Kibana元数据存储索引名称，默认.kibana无需修改，点不能去掉，后缀可以修改
      kibana.index:".kibana"

    • 其他：默认、无需关心

    • 注意事项：

    • 当前窗口：./kibana

    • 后台启动： nohup ./kibana &

    • 启动命令

    • winds系统：kibana.bat

    • linux系统：

    • 安全、语言、其它

    • 默认无需配置，建议配置修改

    • IP地址必须配置，默认仅限本地访问

    • 必须配置，默认仅本地

    • ES配置指向

    • IP+PORT设置

    • 元数据索引沉默

    • 其他设置

    • 必须要删除${ES_HOME}/logs中由root账户产生的日志

    • rm -rf *

    • cd logs/

    • 必须要删除${ES_HOME}/config中elasticsearch.keystore

    • rm elasticsearch.keystore

    • cd config/

    • 1. 如果第一次用root启动了，会失败，第二次要想用其他用户启动，要删除使用root启动时，自动生成的一些文件

    • 文件目录

    • 下载地址

    • 下载软件

    • 安装方式

    • 官方地址：https://www.elastic.co/cn/downloads

    • Elasticsearch: 7.8.1

    • Kibana: 7.8.1 与ES版本一致

    • Chrome插件（非官方）：elasticsearch-head

    • 暂时不建议，因为数据存储会存在物理机目录中而不是容器中

    • 1. 购买SAAS产品，腾讯云/阿里云/ES云

    • 2. 离线包、推荐，建议xx.gz类似绿色版本

    • 3. 在线包

    • 4. 容器docker

    • 1. 安装方式选择

    • 2. 系统环境变量配置

      到此，相信大家对“ES个人虚拟机集群安装步骤”有了更深的了解，不妨来实际操作一番吧！这里是创新互联网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！


      分享名称：ES个人虚拟机集群安装步骤
      转载来于：http://pwwzsj.com/article/ghcjhg.html

      其他资讯