有任何问题请关注公众号留言: 我是攻城师(woshigcs)
qindongliang1922 · 共 682 篇文章
记一次log4j不打印日志的踩坑记
起因 前几天一个跑有java应用的生产集群(200多台物理机)升级了一个版本,重启后发现约有50台机器日志不能正常输出,但其程序确能正常的运行,在生产环境中,日志是非常重要的一个监控手段,如果没有日志输出,无疑是非常危险的。 排查 & 解决 发现这一情况后,立即开始从jdk环境和版本,cpu负载,内存gc,线程stack,死锁,磁盘容量等多方面排查,但均没有发现异常情况,唯一的一点信息是Java进程重启时重定向到out文件里面的控制台输出,如下(以下均为复现时的输出): SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Fo…
2019-09-22 01:58 · JAVA · 评论(0)
在Java里面如何解决进退两难的jar包冲突问题?
如上图所示: es api组件依赖guava18.0,spark项目由于业务需要写入es所以需要依赖es ,但spark项目的环境又需要依赖guava14.0,如果换成高版本可能会报错,这个决定了你不能都使用统一的低版本或者高版本来规避此问题,因此必须面对现实。 导致异常的原因简单说下: spark环境首先启动,导致jvm里面已经加载了guava14.0,这个时候jvm不会加载es依赖的guava18.0,而当es初始化的时候,恰巧需要使用guava18.0新版本的api,而这个api在14.0里面却并不存在,这个时候就会发生异常,就是我们常看到的: java.lang.NoSuchMeth…
2019-07-23 19:10 · JAVA · 评论(0)
什么是操作系统的虚拟内存?
https://mp.weixin.qq.com/s?__biz=MzAxMzE4MDI0NQ==&mid=2650336679&idx=1&sn=1b727d7ddc6c069627d7b8fbb444aaf4&chksm=83aac19db4dd488b5186ed9d7f1ff14b89234ac8479708b89b107de39f173adef227921cdcf3&token=1451129541&lang=zh_CN#rd
2019-07-17 10:04 · Linux · 评论(0)
复盘一个Elasticsearch排序问题的剖析
最近线上的es查询的某个微服务接口,报了一个异常,如下: nested: SearchParseException in order to sort on]; Caused by: SearchParseException 直接从异常上看,可以得到是因为mapping里面不存在排序字段的时候,而抛出的异常,正常的情况,如果某个索引不存在并且还去查询该索引,我们可以通过对索引名字后面加*通配,来避免查询报错,如下: ```java SearchRequestBuilder search=client.prepareSearch("log2019-07-11*"); search.setQuer…
2019-07-15 21:12 · ELK · 评论(0)
如何轻松理解二叉树的深度遍历策略
我们知道普通的线性数据结构如链表,数组等,遍历方式单一,都是从头到尾遍历就行,但树这种数据结构却不一样,我们从一个节点出发,下一个节点却有可能遇到多个分支路径,所以为了遍历树的全部节点,我们需要借助一个临时容器,通常是栈这种数据结构,来存储当遇到多个分叉路径时的,存暂时没走的其他路径,等走过的路径遍历完之后,再继续返回到原来没走的路径进行遍历,这一点不论在递归中的遍历还是迭代中的遍历中其实都是一样的,只不过递归方法的栈是隐式的,而我们自己迭代遍历的栈需要显式的声明。 树遍历的思想总体分为两种思路: (一)深度优先遍历(Depth-First-Search=>DFS) 1,前序遍历(Pre-o…
2019-07-03 23:33 · JAVA · 评论(0)
深入理解什么是LSM-Tree
前言 十多年前,谷歌发布了大名鼎鼎的"三驾马车"的论文,分别是GFS(2003年),MapReduce(2004年),BigTable(2006年),为开源界在大数据领域带来了无数的灵感,其中在 “BigTable” 的论文中很多很酷的方面之一就是它所使用的文件组织方式,这个方法更一般的名字叫 Log Structured-Merge Tree。在面对亿级别之上的海量数据的存储和检索的场景下,我们选择的数据库通常都是各种强力的NoSQL,比如Hbase,Cassandra,Leveldb,RocksDB等等,这其中前两者是Apache下面的顶级开源项目数据库,后两者分别是Google和Fac…
2019-05-21 19:59 · 软件思想 · 评论(0)
18个高效使用谷歌搜索的技巧
< https://blog.csdn.net/u010454030/article/details/88749416 >
2019-03-22 19:56 · 软件思想 · 评论(0)
Apache Flink在阿里的使用(译)
Flink是未来大数据实时数据处理领域的首选框架,本文原文是阿里巴巴的搜索团队总监Xiaowei Jiang在Flink Forward 2016大会上分享的内容,后来被记录并移到Flink公司官网的Blog上(注意这个不是社区的官网,原名叫data Artisans,被阿里收购后改为ververica)。文章内容很不错,我这里也是抱着学习和了解的心态翻译了一下这篇文章,英语好的同学建议直接去原文查看,翻译水平有限,如有不足之处,欢迎轻拍。 原文链接: https://www.ververica.com/blog/blink-flink-alibaba-search youtube的视频链接…
2019-02-21 21:18 · Hadoop · 评论(0)
为什么单线程Redis性能也很出色
高性能的服务器,不一定是多线程实现的,也就是说多线程不一定比单线程效率高,这得分具体的情况。以redis为例,核心处理请求的线程只有一个,所以我们常常理解其仅仅只有一个线程,但准确来说其实并不是单线程的,比如日志的备份需要单独的fork一个进程或者线程去做备份等,那么redis何来单线程还能达到如此10万+的qps呢?其实这取决于具体的实现,redis采用了基于高性能Reactor的IO多路复用的模式+内存数据结构+单线程处理网络请求这几块,决定了其性能高的原因。 我们知道操作系统的主要资源有CPU,内存,磁盘,带宽,而对存储介质访问速度肯定是CPU缓存>内存>磁盘。 redis 核心就是 …
2019-01-21 18:02 · JAVA · 评论(0)
如何将编程语言里面的字符串转成数字?
将字符串转成数字在很多编程语言都有相关的工具类,你知道其底层是如何实现的吗? 在Java里面有工具类: Interger.parseInt("123") Python里面有工具类: int("123") 其他的编程语言就不一一列举了,使用工具类进行转换人人都会,所以并不重要,重要的是我们要来学习下它底层是如何转换的,先上我用Java实现的一段代码如下: private static int stringToInt(String s){ // Having one number at least. if(!s.matches("\\d+")){ return -1; } char []arra…
2019-01-11 23:23 · JAVA · 评论(0)
如何扩展python的logging组件支持json日志输出
这两天在优化公司一个python的项目,顺便研究了一下如何将python日志转成json格式,原来在Java的项目中搞过类似的事情,知道日志转成json之后有很多便利的之处,最常见的就是可以直接对接各种日志分析系统,如开源的ELK,将数据导入之后就能快速的进行查询和分析,方便做各种统计,监控或报警等。 python里面的logging组件,其实已经是组件化了,有Logger组件,Handler组件,Fomatter组件,如下图所示: logger=>handler=>formatter分别是一对多的关系,日志的格式其实是由formatter决定的,所以想要扩展成你想要的各种格式,就重写定制f…
2019-01-10 21:57 · Python · 评论(0)
为什么Java里面String类是不可变的
在Java里面String类型是不可变对象,这一点毫无疑问,那么为什么Java语言的设计者要把String类型设计成不可变对象呢?这是一个值得思考的问题 Java语言的创建者James Gosling,曾经在一次采访中被人问到:什么时候应该使用不可变对象(immutable object),他回答:任何可以使用的时候都会使用。 在这之前,我们先来简单了解一下,什么是不可变对象? 不可变对象指的是在对象创建之后,对象的内部状态以及对象的内存指针地址都不不能被改变。在Java里面final关键字就是用来辅助创建不可变对象的,但需要注意的是,对于基本类型被final修饰后,就彻底变成了不可变对象,…
2019-01-06 18:36 · JAVA · 评论(0)
关于Java里面volatile关键字的重排序
Java里面volatile关键字主要有两个作用: (1)可见性 (2)禁止指令重排序 第一条可见性比较容易理解,就是使用volatile修饰的共享变量,如果有一个线程修改了值,其他的线程里面是立即可见的。原理是对volatile变量的读写,都会强制线程操作从主内存。 第二条禁止指令重排序,能够保证局部的代码执行的顺序。假设我们现在有如下的一段代码: int a=2; int b=1; 从顺序上看a应该先执行,而b会后执行,但实际上却不一定是,因为cpu执行程序的时候,为了提高运算效率,所有的指令都是并发的乱序执行,如果a和b两个变量之间没有任何依赖关系,那么有可能是b先执行,而a后执行,因…
2019-01-04 18:49 · JAVA · 评论(0)
关于Linux进程的基础知识
前言 在计算机里面,一个进程通常指的是一个运行程序的实例,它包含程序代码和其活动。依赖于具体的操作系统,一个进程启动后通常由若干个线程组成,多个线程可以同时并发的执行程序的指令,进程里面第一个启动的线程,通常称为主线程。 进程的类型 前台进程 通常也指交互进程,这些进程一般都是通过linux终端会话创建的,换句话说必须有用户连接到系统上,然后开启一个进程,这种进程不会被系统函数或者创建。 后台进程 通常也指非交互进程,不需要连接到终端执行,也不需要用户的输入 关于守护进程 守护进程是一种特殊的后台进程,通常由操作系统启动,然后一直保持运行,作为一个永久服务,除非系统关机,否则永远不会死亡。守…
2018-12-17 15:58 · Linux · 评论(0)
多个线程如何轮流打印ABC特定的次数?
之前的一篇文章,我给出了关于多线程应用的几个例子: 都是基于Java里面Lock锁实现的,分别是: (1)两个线程轮流打印奇数和偶数 (2)多个线程模拟买票 (3)模拟生产者消费者 今天再抛砖引玉,思考一下如何在多个线程中,轮流打印特定顺序的信息多少次。 这类问题其实并不难,只要掌握了Java里面线程协作和锁的知识,就可以轻而易举的搞定: 根据这些,我们来假设一个场景,使用三个线程轮流打印ABC字符串3次。 解决思路: 首先需要声明3个线程,我们可以分别叫A线程,B线程,C线程: 在这里面: A线程仅仅负责打印A。 B线程仅仅负责打印B。 C线程仅仅负责打印C。 但是呢,他们必须是有顺序,也…
2018-12-11 20:42 · JAVA · 评论(0)