handlerthread:Zookeeper集群安装部署问题

 2021-07-06 23:14    77  

以下是本人在centos7上自己安装时出现的问题汇总handlerthread,在此与大家分享:

问题一handlerthread、如果安装后运行了很长一段时间后再次启动出现如下错误

Unable to load database on diskjava.io.IOException: The current epoch, 16, is older than the last zxid, 98784247809.........................java.lang.RuntimeException: Unable to run quorum server 原因是version-2目录下的内容存在问题handlerthread,把该目录下所有内容清空即可

问题二、zookeeper启动之后无法查看./zkServer.sh status和客户端连接报如下错误

Unable to read additional data from server sessionid 0x0, likely server has closed socket, closing socket connection and attempting reconnect2019-08-21 22:18:26,417 [myid:] - INFO [main-SendThread(192.168.18.132:2181):ClientCnxn$SendThread@1032] - Opening socket connection to server 192.168.18.132/192.168.18.132:2181. Will not attempt to authenticate using SASL (unknown error)原因之一是下面的1、2、3与myid对不上导致

server.3=192.168.18.132:2887:3887

server.1=192.168.18.129:2888:3888

server.2=192.168.18.130:2889:3889

2019年Java大厂面试题讲解 之Java内存溢出OOM

前言JVM中常见的两个经典错误

handlerthread:Zookeeper集群安装部署问题

StackoverFlowError :栈溢出

handlerthread:Zookeeper集群安装部署问题

OutofMemoryError: java heap space:堆溢出

除此之外,还有以下的错误

java.lang.StackOverflowErrorjava.lang.OutOfMemoryError:java heap spacejava.lang.OutOfMemoryError:GC overhead limit exceeededjava.lang.OutOfMemoryError:Direct buffer memoryjava.lang.OutOfMemoryError:unable to create new native threadjava.lang.OutOfMemoryError:Metaspace架构OutOfMemoryError和StackOverflowError是属于Error,不是Exception

StackoverFlowError堆栈溢出,我们有最简单的一个递归调用,就会造成堆栈溢出,也就是深度的方法调用

栈一般是512K,不断的深度调用,直到栈被撑破

/** * @author: 轻狂书生FS * @create: 2020-04-24-14:42 */public class StackOverflowErrorDemo { public static void main(String[] args) { stackOverflowError(); } /** * 栈一般是512K,不断的深度调用,直到栈被撑破 * Exception in thread "main" java.lang.StackOverflowError */ private static void stackOverflowError() { stackOverflowError(); }}1234567891011121314151617运行结果

Exception in thread "main" java.lang.StackOverflowError at com.moxi.interview.study.oom.StackOverflowErrorDemo.stackOverflowError(StackOverflowErrorDemo.java:17)12OutOfMemoryErrorjava heap space创建了很多对象,导致堆空间不够存储

/** * Java堆内存不足 * @author: 轻狂书生FS * @create: 2020-04-24-14:50 */public class JavaHeapSpaceDemo { public static void main(String[] args) { // 堆空间的大小 -Xms10m -Xmx10m // 创建一个 80M的字节数组 byte [] bytes = new byte[80 * 1024 * 1024]; }}12345678910111213我们创建一个80M的数组,会直接出现Java heap space

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space1GC overhead limit exceededGC回收时间过长时会抛出OutOfMemoryError,过长的定义是,超过了98%的时间用来做GC,并且回收了不到2%的堆内存

连续多次GC都只回收了不到2%的极端情况下,才会抛出。假设不抛出GC overhead limit 错误会造成什么情况呢?

那就是GC清理的这点内存很快会再次被填满,迫使GC再次执行,这样就形成了恶性循环,CPU的使用率一直都是100%,而GC却没有任何成果。

代码演示:

为了更快的达到效果,我们首先需要设置JVM启动参数

-Xms10m -Xmx10m -XX:+PrintGCDetails -XX:MaxDirectMemorySize=5m1这个异常出现的步骤就是,我们不断的向list中插入String对象,直到启动GC回收

/** * GC 回收超时 * JVM参数配置: -Xms10m -Xmx10m -XX:+PrintGCDetails -XX:MaxDirectMemorySize=5m * @author: 轻狂书生FS * @create: 2020-04-24-15:14 */public class GCOverheadLimitDemo { public static void main(String[] args) { int i = 0; List<String> list = new ArrayList<>(); try { while(true) { list.add(String.valueOf(++i).intern()); } } catch (Exception e) { System.out.println("***************i:" + i); e.printStackTrace(); throw e; } finally { } }}123456789101112131415161718192021222324运行结果

[Full GC (Ergonomics) [PSYoungGen: 2047K->2047K(2560K)] [ParOldGen: 7106K->7106K(7168K)] 9154K->9154K(9728K), [Metaspace: 3504K->3504K(1056768K)], 0.0311093 secs] [Times: user=0.13 sys=0.00, real=0.03 secs] [Full GC (Ergonomics) [PSYoungGen: 2047K->0K(2560K)] [ParOldGen: 7136K->667K(7168K)] 9184K->667K(9728K), [Metaspace: 3540K->3540K(1056768K)], 0.0058093 secs] [Times: user=0.00 sys=0.00, real=0.01 secs] Heap PSYoungGen total 2560K, used 114K [0x00000000ffd00000, 0x0000000100000000, 0x0000000100000000) eden space 2048K, 5% used [0x00000000ffd00000,0x00000000ffd1c878,0x00000000fff00000) from space 512K, 0% used [0x00000000fff80000,0x00000000fff80000,0x0000000100000000) to space 512K, 0% used [0x00000000fff00000,0x00000000fff00000,0x00000000fff80000) ParOldGen total 7168K, used 667K [0x00000000ff600000, 0x00000000ffd00000, 0x00000000ffd00000) object space 7168K, 9% used [0x00000000ff600000,0x00000000ff6a6ff8,0x00000000ffd00000) Metaspace used 3605K, capacity 4540K, committed 4864K, reserved 1056768K class space used 399K, capacity 428K, committed 512K, reserved 1048576K Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded at java.lang.Integer.toString(Integer.java:403) at java.lang.String.valueOf(String.java:3099) at com.moxi.interview.study.oom.GCOverheadLimitDemo.main(GCOverheadLimitDemo.java:18)1234567891011121314151617我们能够看到 多次Full GC,并没有清理出空间,在多次执行GC操作后,就抛出异常 GC overhead limit

Direct buffer memoryNetty + NIO:这是由于NIO引起的

写NIO程序的时候经常会使用ByteBuffer来读取或写入数据,这是一种基于通道(Channel) 与 缓冲区(Buffer)的I/O方式,它可以使用Native 函数库直接分配堆外内存,然后通过一个存储在Java堆里面的DirectByteBuffer对象作为这块内存的引用进行操作。这样能在一些场景中显著提高性能,因为避免了在Java堆和Native堆中来回复制数据。

ByteBuffer.allocate(capability):第一种方式是分配JVM堆内存,属于GC管辖范围,由于需要拷贝所以速度相对较慢

ByteBuffer.allocteDirect(capability):第二种方式是分配OS本地内存,不属于GC管辖范围,由于不需要内存的拷贝,所以速度相对较快

但如果不断分配本地内存,堆内存很少使用,那么JVM就不需要执行GC,DirectByteBuffer对象就不会被回收,这时候堆内存充足,但本地内存可能已经使用光了,再次尝试分配本地内存就会出现OutOfMemoryError,那么程序就崩溃了。

一句话说:本地内存不足,但是堆内存充足的时候,就会出现这个问题

我们使用 -XX:MaxDirectMemorySize=5m 配置能使用的堆外物理内存为5M

-Xms10m -Xmx10m -XX:+PrintGCDetails -XX:MaxDirectMemorySize=5m1然后我们申请一个6M的空间

// 只设置了5M的物理内存使用,但是却分配 6M的空间ByteBuffer bb = ByteBuffer.allocateDirect(6 * 1024 * 1024);12这个时候,运行就会出现问题了

配置的maxDirectMemory:5.0MB[GC (System.gc()) [PSYoungGen: 2030K->488K(2560K)] 2030K->796K(9728K), 0.0008326 secs] [Times: user=0.00 sys=0.00, real=0.00 secs] [Full GC (System.gc()) [PSYoungGen: 488K->0K(2560K)] [ParOldGen: 308K->712K(7168K)] 796K->712K(9728K), [Metaspace: 3512K->3512K(1056768K)], 0.0052052 secs] [Times: user=0.09 sys=0.00, real=0.00 secs] Exception in thread "main" java.lang.OutOfMemoryError: Direct buffer memory at java.nio.Bits.reserveMemory(Bits.java:693) at java.nio.DirectByteBuffer.<init>(DirectByteBuffer.java:123) at java.nio.ByteBuffer.allocateDirect(ByteBuffer.java:311) at com.moxi.interview.study.oom.DIrectBufferMemoryDemo.main(DIrectBufferMemoryDemo.java:19)12345678unable to create new native thread不能够创建更多的新的线程了,也就是说创建线程的上限达到了

在高并发场景的时候,会应用到

高并发请求服务器时,经常会出现如下异常java.lang.OutOfMemoryError:unable to create new native thread,准确说该native thread异常与对应的平台有关

导致原因:

应用创建了太多线程,一个应用进程创建多个线程,超过系统承载极限服务器并不允许你的应用程序创建这么多线程,linux系统默认运行单个进程可以创建的线程为1024个,如果应用创建超过这个数量,就会报 java.lang.OutOfMemoryError:unable to create new native thread解决方法:

想办法降低你应用程序创建线程的数量,分析应用是否真的需要创建这么多线程,如果不是,该代码将线程数降到最低对于有的应用,确实需要创建很多线程,远超过linux系统默认1024个线程限制,可以通过修改linux服务器配置,扩大linux默认限制/** * 无法创建更多的线程 * * @author: 轻狂书生FS * @create: 2020-04-24-17:02 */public class UnableCreateNewThreadDemo { public static void main(String[] args) { for (int i = 0; ; i++) { System.out.println("************** i = " + i); new Thread(() -> { try { TimeUnit.SECONDS.sleep(Integer.MAX_VALUE); } catch (InterruptedException e) { e.printStackTrace(); } }, String.valueOf(i)).start(); } }}1234567891011121314151617181920这个时候,就会出现下列的错误,线程数大概在 900多个

Exception in thread "main" java.lang.OutOfMemoryError: unable to cerate new native thread1如何查看线程数

ulimit -u1Metaspace元空间内存不足,Matespace元空间应用的是本地内存

-XX:MetaspaceSize 的处理器大小为20M

元空间是什么元空间就是我们的方法区,存放的是类模板,类信息,常量池等

Metaspace是方法区HotSpot中的实现,它与持久代最大的区别在于:Metaspace并不在虚拟内存中,而是使用本地内存,也即在java8中,class metadata(the virtual machines internal presentation of Java class),被存储在叫做Matespace的native memory

永久代(java8后背元空间Metaspace取代了)存放了以下信息:

虚拟机加载的类信息常量池静态变量即时编译后的代码模拟Metaspace空间溢出,我们不断生成类 往元空间里灌输,类占据的空间总会超过Metaspace指定的空间大小

代码在模拟异常生成时候,因为初始化的元空间为20M,因此我们使用JVM参数调整元空间的大小,为了更好的效果

-XX:MetaspaceSize=8m -XX:MaxMetaspaceSize=8m1代码如下:

/** * 元空间溢出 * * @author: 轻狂书生FS * @create: 2020-04-24-17:32 */public class MetaspaceOutOfMemoryDemo { // 静态类 static class OOMTest { } public static void main(final String[] args) { // 模拟计数多少次以后发生异常 int i =0; try { while (true) { i++; // 使用Spring的动态字节码技术 Enhancer enhancer = new Enhancer(); enhancer.setSuperclass(OOMTest.class); enhancer.setUseCache(false); enhancer.setCallback(new MethodInterceptor() { @Override public Object intercept(Object o, Method method, Object[] objects, MethodProxy methodProxy) throws Throwable { return methodProxy.invokeSuper(o, args); } }); } } catch (Exception e) { System.out.println("发生异常的次数:" + i); e.printStackTrace(); } finally { } }}123456789101112131415161718192021222324252627282930313233343536373839会出现以下错误:

发生异常的次数: 201java.lang.OutOfMemoryError:Metaspace12总结通过周阳老师的讲解,我对溢出错误有了深入的理解,听了周阳老师的讲解,我可能会在日常工作中更好更快的定位错误和解决错误。

本文标签:Java溢出大厂

原文链接:https://www.xgfox.com/kfbc/520.html

本文版权:如无特别标注,本站文章均为原创。