部署完成ES之后，如果我们不修改配置，那么默认只有本机可以访问ES的api接口，如果需要给外部机器访问，那么就需要修改ES的配置了。
在默认情况下，ES只允许本地访问api接口，如果我们希望在另外一台机器上访问ES的接口的话，需要配置主机地址：
/data/elasticsearch-5.2[……]
Author: helight
使用Spark分析网站日志
郁闷从昨天开始个人网站不断的发出告警504错误，登录机器看了一下是php-fpm报错，这个错误重启php-fpm后，几个小时就告警，快一年了都没什么问题，奇怪
[28-Sep-2016 11:53:19] NOTICE: ready to handle connections
[28-Sep-2[……]
Spark分区器HashPartitioner详解和扩展
在Spark中，存在两类分区函数：HashPartitioner和RangePartitioner，它们都是继承自Partitioner，主要提供了每个RDD有几个分区（numPartitions）以及对于给定的值返回一个分区ID（0~numPartitions-1），也就是决定这个值是属于那个分区[……]
分布式系统的Raft算法(转)
过去, Paxos一直是分布式协议的标准，但是Paxos难于理解，更难以实现，Google的分布式锁系统Chubby作为Paxos实现曾经遭遇到很多坑。
来自Stanford的新的分布式协议研究称为Raft，它是一个为真实世界应用建立的协议，主要注重协议的落地性和可理解性。
在了解Raf[……]
【转载】从Hadoop到Spark的架构实践
当下，Spark已经在国内得到了广泛的认可和支持：2014年，Spark Summit China在北京召开，场面火爆；同年，Spark Meetup在北京、上海、深圳和杭州四个城市举办，其中仅北京就成功举办了5次，内容更涵盖Spark Core、Spark Streaming、Spark MLli[……]
ubuntu中编译安装protobuf记录
1.下载protobuf
下载地址：https://github.com/google/protobuf/releases
2.编译protobuf
解压下载的tar.gz包，cd到protobuf的目录下，执行以下指令：
./configure
make
make check
m[……]
Java通过swig调用C++接口
记录一下过程
c++代码: swigshape.h
#ifndef TEST_CODE_SWIG_TEST_SHAPE_H
#define TEST_CODE_SWIG_TEST_SHAPE_H
#pragma once
class Shape {
public:
Shape()[……]
spark1.3.1单机安装测试备忘
1.下载,安装spark和scala:
下载1.3.1的hadoop2.6版本. spark-1.3.1-bin-hadoop2.6.tgz
下载到本地之后直接解压即可:
helight@helight-xu:/data/spark$ tar zxf spark-1.3.1-bin-hadoop2.6.tgz
下载scala,2.11.6,也是直接解压即可:
helight@helight-xu:/data/spark$ tar zxf scala-2.11.6.tgz
[……]
thrift maven编译运行
dependencies编译，pom.xml中加入build配置：
<build >
< sourceDirectory> src/main/java </ sourceDirectory>
[……]