brandNewUser
- 浏览: 447270 次
- 性别:
- 来自: 北京
-
最新评论
-
csc673450017：
能把你写的这个jar包发给我一份吗？谢谢 84883446@Q ...
RedisCluster读写分离改造 -
ccor：
linux下清空正在使用的文件命令：:> xxx.log ...
解决jenkins产生的日志过大以及一些衍生问题 -
taoshi：
很棒！ 谢谢分享
Apache common exec包的相应使用总结 -
ruize：
首先，谢谢分享其次，给博主一个建议，希望博主将以上程序测试运行 ...
Java数据结构和算法 -
491857321：
能把你写的这个jar包发给我一下吗？谢谢 491857321@ ...
RedisCluster读写分离改造
文章列表
jenkins使用一段时间后，会导致出现比较大的日志问题，经常占满硬盘空间（因为我们使用的硬盘大小20G，无额外存储要求）。在硬盘空间占满之后，会导致一些基本的命令都无法使用，譬如tab都不能出结果。
其中显示的日志，就例如下面的样例：
http://www.oschina.net/question/874878_245285
question: [DNSQuestion@1138295053 type: TYPE_IGNORE index 0, class: CLASS_UNKNOWN index 0, name: ] ...
正常我们在web开发中，由于需要在页面上或者脱离事务时使用到懒加载对应的对象，一般都采用Open Session In View模式。
Open Session In View
OpenSessionInView 模式用法探讨，在没有使用Spring提供的Open Session In View情况下，因需要在service(or Dao)层里把session关闭，所以lazy loading 为true的话，要在应用层内把关系集合都初始化，如company.getEmployees()，否则Hibernate抛session already closed Exce ...
在搭建web项目时，出现一个比较诡异的问题，任何JSP页面突然都不能够正常地显示，系统爆出HTTP：500(服务器内部错误)的页面
HTTP Status 500 - java.lang.NoSuchMethodError: org.eclipse.jdt.internal.compiler.CompilationResult.getProblems()[Lorg/eclipse/jdt/core/compiler/IProblem;
type Exception report
message java.lang.NoSuchMethodError: org.ecli ...
一般情况下，我们使用Java访问hadoop distributed file system(hdfs)使用hadoop的相应api，添加以下的pom.xml依赖（这里以hadoop2.2.0版本为例）：
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.2.0</version>
</dependenc ...
Java中我们基本上不会显式地调用分配内存的函数，分配内存和回收内存都由JVM自动完成了。
所谓物理内存就是我们通常说的RAM（随机存储器），计算机中还有一个存储单元叫做寄存器，用于存储计算单元执行指定的中间结果。寄存器的大小决定了一次计算可使用的最大数值。
不管是在Windows系统还是在Linux系统下，运行程序都要向操作系统先申请内存地址。通常操作系统管理内存的申请空间是按照进程来管理的，每个进程拥有一段独立的地址空间，每个进程之间不会相互重合，操作系统也会保证每个进程只能访问自己的内存空间（逻辑间独立，操作系统保证）。随着程序越来越庞大和设计的多任务性，物理内存无 ...
Oozie支持工作流，其定义通过将多个Hadoop Job的定义按照一定的顺序组织起来，然后作为一个整体按照既定的路径运行。一个工作流已经定义了，通过启动该工作流Job，就会执行该工作流中包含的多个Hadoop Job，直到完成，这就是工作流Job的生命周期。
通过最简单的一个例子来了解oozie是如何运行的，运行oozie的服务器必须能够访问HDFS，可以提交hadoop mapreduce任务（如果需要执行hive，spark等任务，同样需要对应的环境）。
为了让实例比较简单，任务只是在提交后执行一次，并没有使用coordinator，只是使用了workflow ...
正常情况下，我们都是启动Hadoop任务的方式大概就是通过hadoop jar命令（或者写在shell中），事实上运行的hadoop就是一个包装的.sh，下面就是其中的最后一行，表示在其中执行一个java命令，调用hadoop的一些主类，同时配置一些hadoop的相关CLASSPATH，OPTS等选项：
exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"
当使用hadoop jar时，调用的$CLASS是下面的类型：
org.apache.hadoop.u ...
我们最原始的产品使用hive来进行数据分析和处理，由于我们的业务模型所限制，往往需要经过多轮的MR来完成任务，经过多轮的优化，虽然取得了一定的成果，但是执行速度还是不能满足产品的要求。
其实，当时考虑使用hive，是由于其基于SQL良好的扩展性为前提的，也就是说，以后我们在增加功能的时候，修改的部分很少，只需增加一些where，group by条件，就可以达成目的，hive也确实能够满足这个需求。但随着业务场景越来越复杂，其执行效率就越来越被诟病，正如shell相对于java，写起来做demo容易，但是系统越复杂，shell的效率和维护行就会被java拉开得越远。
我们也 ...
由于我们处理的日志需要过滤一些空格，因此大部分处理日志的程序中都用到了java.lang.String.trim()函数。直到有一次遇到一个诡异的问题，某个包含特殊字符的字符串被trim后居然也为空（虽然这种特殊字符也没有什么太大意义…）。
于是查看这个特殊字段，显示为^I(在Linux下可以通过cat -A命令能够查看这个特殊字符），对应键盘上的Tab键，于是便将trim()函数拉出来看了一下：
public String trim() {
int len = value.length;
int st = 0;
char[] val = ...
最近在写一个Java工具，其中调用了各种SHELL命令，使用了Runtime.getRuntime().exec(command);这个方法。但是在我调用某个命令执行操作时，程序就卡在那了，但是其他操作却能够正常输出，经过了一番查找和摸索，终于明白了原来Java在执行命令时输出到某个Buffer里，这个Buffer是有容量限制的，如果满了一直没有人读取，就会一直等待，造成进程锁死的现象，知道这一点，我们就可以在执行的过程中新开启几个线程来不断地读取标准输出，以及错误输出：
final Process p = Runtime.getRuntime().exec(command ...
Hive会将执行的SQL语句翻译成对应MapReduce任务，当SQL语句比较简单时，性能还是可能处于可接受的范围。但是如果涉及到非常复杂的业务逻辑，特别是通过程序的方式（一些模版语言生成）生成大量判断语句时，出现的问 ...
原本系统之间通信采用Restful Web Service，但其中没有考虑安全性问题，因此决定使用稍微复杂点的二进制协议，Hessian服务。
Hessian是一个轻量级的Remoting On HTTP工具，使用简单的方法提供了RMI的功能，相比Web Service，Hessian更简单，快捷，采用的是二进制RPC协议。
Hessian处理过程的简要流程：
客户端 － 序列化写到输出流 － 远程方法（服务器端） － 序列化写到输出流 － 客户端读取输入流 － 输出结果
Hessian通过Servlet提供远程服务，需要将匹配某个模式的请求映射到Hes ...
对于Hadoop来说，是通过在DataNode中启动Map/Reduce java进程的方式来实现分布式计算处理的，那么就从源码层简要分析一下hadoop中启动Map/Reduce任务的过程。
首先，对于Map/Reduce端启动的任务，都是通过一些参数来控制java opts的，mapreduce.map.java.opts，mapreduce.reduce.java.opts，这些参数都在MRJobConfig类中，拿map.java.opts举例来说，org.apache.hadoop.mapred.MapReduceChildJVM类中使用了这个参数，用来构造Map或R ...
Hive中的外部表
对于Hive中的外部表来说，因为表是外部的，Hive认为其并不拥有这份数据，删除该表并不会真正删除其中的数据，其中的表描述元信息会被删除掉。
对数据进行分区后，对于管理表，可以将其显示在hdfs目录 ...
对于企业应用来说，数据是许多业务的命脉，软件通常是可替换的，但是多年积累的数据是永远不能替换的。
近些年来，以信息为中心的表述性状态转移(Representational State Transfer， REST）已成为替换传统SOAP Web服务的流行方案，为了帮助Spring开发人员，Spring3.0以上的版本中封装了对REST的良好支持。Spring对REST的支持是构建在Spring MVC上的。
相对于SOAP，REST提供了一个更简单的可选方案，问题在于并不是每个人都清楚了解REST到底是什么。REST并不是简单的“基于URL的Web服务”，不能将其看作是 ...