brandNewUser
- 浏览: 446528 次
- 性别:
- 来自: 北京
-
最新评论
-
csc673450017：
能把你写的这个jar包发给我一份吗？谢谢 84883446@Q ...
RedisCluster读写分离改造 -
ccor：
linux下清空正在使用的文件命令：:> xxx.log ...
解决jenkins产生的日志过大以及一些衍生问题 -
taoshi：
很棒！ 谢谢分享
Apache common exec包的相应使用总结 -
ruize：
首先，谢谢分享其次，给博主一个建议，希望博主将以上程序测试运行 ...
Java数据结构和算法 -
491857321：
能把你写的这个jar包发给我一下吗？谢谢 491857321@ ...
RedisCluster读写分离改造
文章列表
我们已经对redis cluster中的key进行了一定的分槽，但是导致了redis节点数据的不均匀分布，三个节点数据量大小对比：5：1：1，但更加恐怖的是内存使用对比，在最多的一个进程中占用超过900M，而最少的一个进程仅60M。
对比redis的dump文件，是其他两个的20倍
-rw-r--r--. 1 root root 14448246 8月 19 18:45 dump.6388.rdb
-rw-r--r--. 1 root root 279497287 8月 19 18:38 dump.6389.rdb
-rw-r--r--. 1 root root ...
Solr在5.0版本后，不再提供war包部署的方式，取而代之的是内置了jetty服务，
但是我们发现其中并没有内置任何安全性相关检查，任何人如果知道了我们的外网地址就能直接访问并修改其中的索引。经过查找可以使用jetty的方式来限制web访问。
solr/server/solr-webapp/WEB-INF/web.xml中增加以下字段：
<security-constraint>
<web-resource-collection>
<web-resource-name>solr</we ...
JMX是一个框架，提供了一种功能，可以实时查询应用程序中通过JMX向外部公布的相应参数或者是其他应用程序，同时也可以通过JMX来实时地调用应用程序使用JMX向外部公布的接口，来完成一些功能操作。
如果想要对远程 ...
RedisCluster模式启动的环境中，通过Redis中的每个连接，都可以访问 cluster nodes 访问到所有的服务器列表以及其所处于的角色(master/slave)。对于RedisCluster来说，在实际运行时，只会访问到其中的master节点，slave既不能用于write操作，也不能进行read。
原有JedisCluster
JedisCluster的UML图结果如上图所示，在每次执行JedisCluster相关操作时，都需要通过JedisClusterCommand提供connection来进行，该connection需要根据 ...
搭建完redis集群后，可以通过jedis的JedisCluster来访问Redis集群，这里列出使用jedisCluster的spring bean配置方式：
<bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">
<property name="maxIdle" value="5" />
<property name="maxTota ...
对象池技术在服务器开发上应用广泛。在各种对象池的实现中，尤其以数据库的连接池最为明显，可以说是每个服务器必须实现的部分。
apache common pool 官方文档可以参考：https://commons.apache.org/proper/commons-pool/。
结合JedisPool看Commons Pool对象池技术
结合JedisPool，我们来了解一下commons pool的整体设计：
面向用户的往往是ObjectPool，用户看到的是一个对象池，对于使用Redis连接的用户来说，就是JedisPool。对象池ObjectP ...
在hadoop中，存在对应的counter计数器用于记录hadoop map/reduce job任务执行过程中自定义的一些计数器，其中hadoop任务中已经内置了一些计数器，例如CPU时间，GC时间等。
Storm中也存在类似counter的功能，metrics，详细介绍可以参考下面的文档：
http://storm.apache.org/releases/1.0.1/Metrics.html
Storm exposes a metrics interface to report summary statistics across the full top ...
原有的事务支持使用MemcachedState来进行，现在需要将其迁移至Redis，并且需要记录所有key值列表，因为在redis中虽然可以使用keys *操作，但不是被推荐的方式，所以把所有结果存在Redis中的一个HASH格式字段中。
关于Redis与Storm集成的相关文档，可以参考：
http://storm.apache.org/releases/2.0.0-SNAPSHOT/storm-redis.html
由于Redis中也有着较多种类型的数据结构，这也为我们提供了可能，将所有的key至统一放置到set中，或其他更为合适的数据结构中。
搭建 ...
原本打算将storm直接与flume直连，发现相应组件支持比较弱，topology任务对应的supervisor也不一定在哪个节点上，只能采用统一的分布式消息服务Kafka。
原本打算将结构设置为：
最后结构更改为：
集成Kafka
storm中已经写好了KafkaSpout用来接收Kafka中间件上的消息，并发射到Bolt中，只需要依赖 storm-kafka即可：
<dependency>
<groupId>org.apache.storm</groupId>
...
Flume NG的简单使用可以参考介绍文档：http://blog.csdn.net/pelick/article/details/18193527，图片也来源此blog：
下载完flume后，就可以在 https://flume.apache.org/FlumeUserGuide.html 中根据教程来启动agent console
启动完成后，在console中打印出现下面的日志信息：
2016-06-21 13:00:06,890 (lifecycleSupervisor-1-0) [INFO - org.apach ...
服务端tomcat的简单监控
- 博客分类：
- 系统使用
由于线上对tomcat监控处于失控的状态（只能通过跳转，简单地jstack/jstat进行监控），故需要针对tomcat快速查看其运行状态
Tomcat-manager
在tomcat/webapps中存在目录 manager，用于初步监控tomcat jvm相关参数指标。此时，用户需要 ...
lucene中的TokenStream，TokenFilter之间关系
TokenStream是一个能够在被调用后产生语汇单元序列的类，其中有两个类型：Tokenizer和TokenFilter，两者的不同在于TokenFilter中包含了一个TokenStream作为input，该input仍然可以为一种TokenFilte ...
首先，下载solr5.5.0源码，http://apache.fayea.com/lucene/solr/5.5.0/solr-5.5.0-src.tgz
解压完成后，分为几个目录，然而solr是通过ant编译的，我们想将其转换为maven方式，发现其中存在dev-tools/maven中，其中对应的说明：
Copy the Maven POM templates from under dev-tools/maven/ to the
maven-build/ directory using the following command from the ...
参考文档：
http://uule.iteye.com/blog/2126533
http://lanjingling.github.io/2016/02/15/spring-aop-dynamicdatasource/
我们的需求达到的目标和现有的条件:
不同类型数据源都可能存在master和slave区分；
数据源之间已经可以通过package区分，不同package对应的service也不同；
aop在service层面，对应不同数据源的service之间可能存在互相调用；
最外层方法的名称决定了该数据源应该使用master（可写）还是slave数据源（ ...
最近需要对公司的产品搜索功能做一步改动，搜索到的结果首先按照是否有库存进行排序，然后再按照销量。由于库存量也是一个整数，如果直接按照库存量进行倒序排序的话，是不符合要求的，Lucene也没有支持我们这种特殊的业务需求，但是可以通过扩展的方式进行改写。
参考文档：http://blog.csdn.net/cctcc/article/details/45672247
public class EmptyStockComparatorSource extends FieldComparatorSource {
@Override
public FieldC ...