• 动漫微视频:春天里的叮嘱与承诺 2019-10-11
  • 监管排查网销保险风险 严防P2P风险交叉传递 2019-09-15
  • 要想视力好,运动少不了(体坛观澜) 2019-09-15
  • 贪官的可恨之处,不在于他们的贪污、索贿、受贿、侵占国有资财,而在于他们相互勾结,打压、排挤积极认真为党、国家、民族、人民工作的好干部。向他们靠拢就被拉拢、腐蚀变 2019-08-06
  • 西安又添新地标 隋唐第一门明德门将“复活” 2019-07-29
  • 华谊兄弟市值半月蒸发50亿 股票激励能否提振股价 2019-07-29
  • 科研人员发现新型光合作用 2019-07-08
  • 人民网评:用法律致敬英雄烈士 2019-07-05
  • 《国家人文历史》文章精选 2019-07-05
  • 人民日报记者眼中的70年:用镜头记录中国 2019-07-02
  • 雄安新区落实中央环境保护督察“回头看”整改任务 2019-07-02
  • 天津正厅级干部赵建国涉嫌受贿被移送审查起诉 2019-06-27
  • 【欧姆龙OMRON】欧姆龙OMRON智能电子血压计家用全自动上臂式HEM 2019-06-27
  • 北京一官员借单位换楼贪污受贿31万 退赃获轻判 2019-06-25
  • 骆惠宁主持召开十一届省委全面深化改革领导小组第十五次会议 2019-06-22
  • 服务器

    pk10怎么看走势选码:一次Zookeeper 扩展之殇

    广告
    广告

    微信扫一扫,分享到朋友圈

    一次Zookeeper 扩展之殇
    0 0

    一、背景

    基于公司发展硬性需求,生产VM服务器要统一迁移到ZStack 虚拟化服务器。检查自己项目使用的服务器,其中zookeeper集群中招,所以需要进行迁移。

    二、迁移计划

    为了使迁移不对业务产生影响,所以最好是采用 扩容   ->   缩容   的方式进行。

    zk
    说明:
    1.原生产集群为VM-1,VM-2,VM-3组成一个3节点的ZK集群;
    2.对该集群扩容,增加至6节点(新增ZS-1,ZS-2,ZS-3),进行数据同步完成;
    3.进行缩容,下掉原先来的三个节点(VM-1,VM-2,VM-3);
    4.替换nginx解析地址。
    OK! 目标很明确,过程也很清晰,然后开干。
    

    三、步骤 (过程已在测试环境验证无问题):

    1. 对新增的三台服务器进行zk环境配置,和老集群配置一样即可,最好使用同一版本(版主使用的是3.4.6);
    2. 对老节点的zoo.cfg 增加新集群的地址(逐一增加),然后对新增加节点逐一重启。
    zk-2

    四、问题

    • ZS-1   启动成功,zkServer.sh status 报错,用zkServer.sh status查看,反馈如下异常:
    [[email protected] bin]# ./zkServer.sh  status
    ZooKeeper JMX enabled by default
    Using config: /usr/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
    Error contacting service. It is probably not running.
    
    • 此时查看数据,数据同步正常
    ZS-1 数据同步正常,但是无法查看节点的状态信息;
    
    • 怀疑是因为老节点没有重启的原因;此时去查看原集群节点信息,发现原集群节点状态异常。经排查定位,原集群的状态一直处于异常状态。
    • 初步定位原因可能是原集群的选举存在异常,导致新节点无法正常纳入,继续排查。
    • 恢复集群初始状态,如果集群节点的状态一直没法正常查看。OK 继续定位…

    五、排查过程

    以下方法来自于网络:

    可能有以下几个原因:

    第一、zoo.cfg文件配置:dataLogDir指定的目录未被创建。

    1.zoo.cfg
    

    [[email protected]?conf]

    # cat zoo.cfg … dataDir=/app/zookeeperdata/data dataLogDir=/app/zookeeperdata/log … 2.路径

    [[email protected]?conf]

    # cd /app/zookeeperdata/

    [[email protected]?zookeeperdata]

    # ll total 8 drwxr-xr-x 3 root root 4096 Apr 23 19:59 data drwxr-xr-x 3 root root 4096 Aug 29  2015 log

    经排查 排除该因素。

    第二、myid文件中的整数格式不对,或者与zoo.cfg中的server整数不对应。

    [[email protected] data]# cd /app/zookeeperdata/data
    

    [[email protected]?data]

    # cat myid  2[[email protected] data]#

    定位排查后排除不是该原因。

    第三、防火墙未关闭。

    使用service iptables stop 关闭防火墙; 使用service iptables status确认; 使用chkconfig iptables off禁用防火墙。

    确认防火墙是关闭的。

    [[email protected] ~]# service iptables status
    iptables: Firewall is not running.
    确认防火墙是关闭的
    

    第四、端口被占用。

    [[email protected] bin]# netstat -tunlp | grep 2181
    tcp        0      0 :::12181                    :::*                        LISTEN      30035/java          
    tcp        0      0 :::22181                    :::*                        LISTEN      30307/java 
    确认端口没有被占用
    

    第五、zoo.cfg文件中主机名出错。

    经测试环境测试,主机名正确,多域名解析也正常,不存在此问题
    

    第六、hosts文件中,本机的主机名有两个对应,只需保留主机名和ip地址的映射。

    经测试环境测试,主机名正确,多域名解析也正常,不存在此问题 排除。
    

    第七、zkServer.sh里的nc命令有问题。

     可能是机器上没有安装nc命令,还有种说法是在zkServer.sh里找到这句:
     STAT=`echo stat | nc localhost $(grep clientPort “$ZOOCFG” | sed -e ‘s/.*=//’) 2> /dev/null| grep Mode`
     在nc与localhost之间加上 -q 1 (是数字1而不是字母l)
     
     zookeeper版本是3.4.6,zkServer.sh里根本没有这一句(获取状态的语句没有用nc命令)
     # -q is necessary on some versions of linux where nc returns too quickly, and no stat result is output
        clientPortAddress=`grep "^[[:space:]]*clientPortAddress[^[:alpha:]]" "$ZOOCFG" | sed -e 's/.*=//'`
        if ! [ $clientPortAddress ]
        then
            clientPortAddress="localhost"
        fi
        clientPort=`grep "^[[:space:]]*clientPort[^[:alpha:]]" "$ZOOCFG" | sed -e 's/.*=//'`
        STAT=`"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \
                 -cp "$CLASSPATH" $JVMFLAGS org.apache.zookeeper.client.FourLetterWordMain \
                 $clientPortAddress $clientPort srvr 2> /dev/null    \
              | grep Mode`
        if [ "x$STAT" = "x" ]
        then
            echo "Error contacting service. It is probably not running."
            exit 1
        else
            echo $STAT
            exit 0
        fi
        ;;
    

    六、以下是自己排查的方式:

    目前现象老集群数据同步正常,也能进行leader选举(从日志获?。?,但是无法查看节点状态,同异常信息;进行集群扩容,数据不能同步。

    解决方法:

    1、尝试进行foreground 模式启动,选择一台非主节点进行重启,可以前台查看启动日志。

    zkserver.sh start-foreground
    节点启动正常,无异常输出。
    

    2、查看shell脚本:分析zkServer.sh。

    • “Error contacting service. It is probably not running.” 这块日志出现以下脚本中。
    STAT=`"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \
                 -cp "$CLASSPATH" $JVMFLAGS org.apache.zookeeper.client.FourLetterWordMain \
                 $clientPortAddress $clientPort srvr 2> /dev/null    \
              | grep Mode`
        if [ "x$STAT" = "x" ]
        then
            echo "Error contacting service. It is probably not running."
            exit 1
        else
            echo $STAT
            exit 0
        fi
        ;;
    
    • 截取其中一部分脚本内容:我们可以初步定为应该是   $STAT   获取存在异常 如果STAT变量为空,则会显示Error contacting service. It is probably not running.: OK,那就分析下这个 $STAT 到底是什么鬼?
     if [ “x$STAT” = “x” ]
    then
    echo “Error contacting service. It is probably not running.”
    exit 1
    else
    echo $STAT
    exit 0
    fi
    

    3、尝试用shell的debug模式 看下执行过程:

    • 截取片段执行日志如下 :果然STAT变量确实为空,导致输出Error contacting service. It is probably not running.并且退出。
    ++ grep '^[[:space:]]*clientPort[^[:alpha:]]' /app/zookeeper-3.4.6/bin/../conf/zoo.cfg
    + clientPort=5181
    ++ grep Mode
    ++ /opt/jdk1.8.0_131/bin/java -Dzookeeper.log.dir=. -Dzookeeper.root.logger=INFO,CONSOLE -cp '/app/zookeeper-3.4.6/bin/../build/classes:/app/zookeeper-3.4.6/bin/../build/lib/*.jar:/app/zookeeper-3.4.6/bin/../lib/slf4j-log4j12-1.6.1.jar:/app/zookeeper-3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/app/zookeeper-3.4.6/bin/../lib/netty-3.7.0.Final.jar:/app/zookeeper-3.4.6/bin/../lib/log4j-1.2.16.jar:/app/zookeeper-3.4.6/bin/../lib/jline-0.9.94.jar:/app/zookeeper-3.4.6/bin/../zookeeper-3.4.6.jar:/app/zookeeper-3.4.6/bin/../src/java/lib/*.jar:/app/zookeeper-3.4.6/bin/../conf:.:/opt/jdk1.8.0_131/lib/dt.jar:/opt/jdk1.8.0_131/lib/tools.jar' org.apache.zookeeper.client.FourLetterWordMain localhost 5181 srvr
    + STAT=
    + ‘[‘ x = x ‘]’
    + echo ‘Error contacting service. It is probably not running.’
    Error contacting service. It is probably not running.
    + exit 1
    

    4、修改shell脚本:分析zkServer.sh 在脚本总增加输出STAT 内容,这次我们不进行过滤。

    STAT1=`"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \
                 -cp "$CLASSPATH" $JVMFLAGS org.apache.zookeeper.client.FourLetterWordMain \
                 $clientPortAddress $clientPort srvr 2> test.log \ `
    echo "$STAT1"
    
    • 最好的方式是copy一个新脚本,以免污染原本的脚本。我是这么做的;然后运行该脚本。
    [[email protected] bin]# ./zkServer.sh  status
    ZooKeeper JMX enabled by default
    Using config: /usr/zookeeper/zookeeper-3.4.10/bin/../conf/zoo.cfg
    Error contacting service. It is probably not running.
    
    • 然后查看生成的test.log 文件:果然存在异常内容。
    in thread “main” java.lang.NumberFormatException: For input string: “2181
    at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
    at java.lang.Integer.parseInt(Integer.java:492)
    at java.lang.Integer.parseInt(Integer.java:527)
    at org.apache.zookeeper.client.FourLetterWordMain.main(FourLetterWordMain.java:76)
    
    • 从日志信息来看,提示说2181这个端口号造成的。 不是一个合法的数字。

    zkServer.sh里有这么一句:

    clientPort=`grep “^[[:space:]]*clientPort[^[:alpha:]]” “$ZOOCFG” | sed -e ‘s/.*=//’`
    grep “^[[:space:]]*clientPort[^[:alpha:]]” “$ZOOCFG” | sed -e ‘s/.*=//’在执行过程中,实际命令如下:
    grep ‘^[[:space:]]*clientPort[^[:alpha:]]’ /app/zookeeper-3.4.6/bin/../conf/zoo.cfg | sed -e ‘s/.*=//’
    
    • 最终可以基本确认配置文件存在问题。
    • 替换配置文件:重启 问题解决。
    • 存在原因可能是编辑zoo.cfg 编码格式等等引起文件内容解析异常。

    作者: 毛正卫

    拓展阅读: 【宜信技术沙龙01期】AI中台:一种敏捷的智能业务支持方案|分享实录

    【宜信技术沙龙02期】宜信敏捷数据中台建设实践|分享实录

    宜信技术学院是宜信旗下的金融科技能力展示与输出平台。通过分享在金融科技领域的开源成果、研发实践促进金融科技生态圈企业创新升级。

    黑客锁定市政系统勒索比特币,政府拒付赎金!全美最危险城市陷入瘫痪的第三周……

    上一篇

    IEEE官方禁止华为参与期刊审稿,当全球最大技术学术机构向政治弯腰

    下一篇

    你也可能喜欢

    一次Zookeeper 扩展之殇

    长按储存图像,分享给朋友

    ITPUB 每周精要将以邮件的形式发放至您的邮箱


    微信扫一扫

    微信扫一扫
  • 动漫微视频:春天里的叮嘱与承诺 2019-10-11
  • 监管排查网销保险风险 严防P2P风险交叉传递 2019-09-15
  • 要想视力好,运动少不了(体坛观澜) 2019-09-15
  • 贪官的可恨之处,不在于他们的贪污、索贿、受贿、侵占国有资财,而在于他们相互勾结,打压、排挤积极认真为党、国家、民族、人民工作的好干部。向他们靠拢就被拉拢、腐蚀变 2019-08-06
  • 西安又添新地标 隋唐第一门明德门将“复活” 2019-07-29
  • 华谊兄弟市值半月蒸发50亿 股票激励能否提振股价 2019-07-29
  • 科研人员发现新型光合作用 2019-07-08
  • 人民网评:用法律致敬英雄烈士 2019-07-05
  • 《国家人文历史》文章精选 2019-07-05
  • 人民日报记者眼中的70年:用镜头记录中国 2019-07-02
  • 雄安新区落实中央环境保护督察“回头看”整改任务 2019-07-02
  • 天津正厅级干部赵建国涉嫌受贿被移送审查起诉 2019-06-27
  • 【欧姆龙OMRON】欧姆龙OMRON智能电子血压计家用全自动上臂式HEM 2019-06-27
  • 北京一官员借单位换楼贪污受贿31万 退赃获轻判 2019-06-25
  • 骆惠宁主持召开十一届省委全面深化改革领导小组第十五次会议 2019-06-22
  • 手机重庆时时单双计划 人民的胆王3d 大乐透最新期预测 双色球投注手写单 四川时时平台哪个好 快速时时计划 365投注 七星彩三码定位准吗 今期买什么生肖一定包中 时时彩后三700注稳赚 二分彩技巧稳赚保本玩法 pk10冠军看走势图教程 重庆时时升降图 365天天彩票app下载 网络扎金花技巧有哪些 双色球历史开奖结果