在默认情况下，ES只允许本地访问api接口，如果我们希望在另外一台机器上访问ES的接口的话，需要配置主机地址：
/data/elasticsearch-5.2.2> vim config/elasticsearch.yml

#network.host: 192.168.0.1
network.host: 10.140.7.12

保存退出，重新启动es，一般都会报错，无法启动

[2017-03-16T10:51:23,168][INFO ][o.e.t.TransportService ] [DwX_4EG] publish_address {10.140.7.12:9300}, bound_addresses {10.140.7.12:9300}
[2017-03-16T10:51:23,176][INFO ][o.e.b.BootstrapChecks ] [DwX_4EG] bound or publishing to a non-loopback or non-link-local address, enforcing bootstrap checks
ERROR: bootstrap checks failed
max virtual memory areas vm.max_map_count [65536] is too low, increase to at least [262144]

对于这个错误，需要这样处理，执行下面的命令，或者把这个配置/etc/sysctl.conf
sysctl -w vm.max_map_count=262144

再次启动，报下面的错误：
system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
原因：
这是在因为操作系统不支持SecComp，而ES5.2.2默认bootstrap.system_call_filter为true进行检测，所以导致检测失败，失败后直接导致ES不能启动。
解决：
在elasticsearch.yml中配置bootstrap.system_call_filter为false，注意要在Memory下面:
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

重启ok
一下是网友遇到的问题，也一并记录一下：
问题一：警告提示
[2016-12-20T22:37:28,543][INFO ][o.e.b.BootstrapCheck ] [elk-node1] bound or publishing to a non-loopback or non-link-local address, enforcing bootstrap checks
[2016-12-20T22:37:28,552][ERROR][o.e.b.Bootstrap ] [elk-node1] node validation exception
bootstrap checks failed
max number of threads [1024] for user [elasticsearch] is too low, increase to at least [2048]
[2016-12-20T22:37:28,560][INFO ][o.e.n.Node ] [elk-node1] stopping …
[2016-12-20T22:37:28,628][INFO ][o.e.n.Node ] [elk-node1] stopped
[2016-12-20T22:37:28,629][INFO ][o.e.n.Node ] [elk-node1] closing …
[2016-12-20T22:37:28,677][INFO ][o.e.n.Node ] [elk-node1] closed

报了一大串错误，其实只是一个警告。

解决：使用心得linux版本，就不会出现此类问题了。

问题二：ERROR: bootstrap checks failed
max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
max number of threads [1024] for user [lishang] likely too low, increase to at least [2048]
解决：切换到root用户，编辑limits.conf 添加类似如下内容
vi /etc/security/limits.conf

添加如下内容:

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

问题三：max number of threads [1024] for user [lish] likely too low, increase to at least [2048]

解决：切换到root用户，进入limits.d目录下修改配置文件。
vi /etc/security/limits.d/90-nproc.conf
修改如下内容：

* soft nproc 1024
#修改为
* soft nproc 2048

问题四：max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

解决：切换到root用户修改配置sysctl.conf

vi /etc/sysctl.conf
添加下面配置：
vm.max_map_count=655360
并执行命令：
sysctl -p

在“大数据”相对泛滥的今天，我们看到很多讨论各种大数据架构、存储、工具、算法等等。但是大数据工具在具体应用场景中的计算各有不同之处，那在游戏数据分析中我们腾讯是怎么做的呢？本话题将简单介绍腾讯游戏数据分析系统的后台架构，并且主要介绍一个为游戏分析这类场景设计开发的的小型数据存储系统。

以为是这个值设置的太小了，所以修改了配置修改大了值
[28-Sep-2016 15:51:43] NOTICE: fpm is running, pid 28179
[28-Sep-2016 15:51:43] NOTICE: ready to handle connections
[28-Sep-2016 15:51:43] NOTICE: systemd monitor interval set to 10000ms
[28-Sep-2016 15:52:12] WARNING: [pool www] seems busy (you may need to increase pm.start_servers, or pm.min/max_spare_servers), spawning 8 children, there are 0 idle, and 7 total children
[28-Sep-2016 16:15:58] WARNING: [pool www] server reached pm.max_children setting (20), consider raising it
[28-Sep-2016 16:52:32] WARNING: [pool www] server reached pm.max_children setting (20), consider raising it
[28-Sep-2016 16:53:05] WARNING: [pool www] server reached pm.max_children setting (20), consider raising it
[28-Sep-2016 16:55:17] WARNING: [pool www] server reached pm.max_children setting (20), consider raising it

结果后来还是一样，几个小时之后再次504告警，再看nginx的日志，发现一些奇怪的ip访问量非常大。。。有怀疑是有恶意ip的访问，看来有必要查查访问日志中的ip访问量
root@iZ28bhfjhgkZ:/var/log/nginx# vim access.log
121.42.53.180 – – [25/Sep/2016:06:26:29 +0800] “POST /wp-cron.php?doing_wp_cron=1474755989.0131719112396240234375 HTTP/1.0” 499 0 “-” “WordPress/4.3.1; http://zhwen.org”
182.92.148.207 – – [25/Sep/2016:06:26:29 +0800] “GET / HTTP/1.1” 200 41253 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)”
203.208.60.226 – – [25/Sep/2016:06:28:55 +0800] “GET /?p=675 HTTP/1.1” 200 8204 “-” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”
203.208.60.226 – – [25/Sep/2016:06:28:57 +0800] “GET /wp-content/themes/sparkling/inc/css/font-awesome.min.css?ver=4.3.1 HTTP/1.1” 200 26711 “http://zhwen.org/?p=675” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”
203.208.60.226 – – [25/Sep/2016:06:28:57 +0800] “GET /wp-content/plugins/wp-pagenavi/pagenavi-css.css?ver=2.70 HTTP/1.1” 200 374 “http://zhwen.org/?p=675” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”
203.208.60.226 – – [25/Sep/2016:06:28:58 +0800] “GET /wp-content/plugins/yet-another-related-posts-plugin/style/widget.css?ver=4.3.1 HTTP/1.1” 200 771 “http://zhwen.org/?p=675” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”
121.43.107.174 – – [25/Sep/2016:06:29:18 +0800] “GET / HTTP/1.1” 200 41253 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)”
115.28.189.208 – – [25/Sep/2016:06:29:33 +0800] “GET / HTTP/1.1” 200 41253 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)”
42.156.139.59 – – [25/Sep/2016:06:30:58 +0800] “GET /?paged=14 HTTP/1.1” 200 11164 “-” “YisouSpider”
182.92.148.207 – – [25/Sep/2016:06:31:29 +0800] “GET / HTTP/1.1” 200 41253 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)”
61.135.169.81 – – [25/Sep/2016:06:34:14 +0800] “GET /?p=articles/cscope-tags HTTP/1.1” 200 10681 “-” “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12) AppleWebKit/602.1.50 (KHTML, like Gecko)”
61.135.169.81 – – [25/Sep/2016:06:34:14 +0800] “GET /apple-touch-icon-precomposed.png HTTP/1.1” 404 151 “-” “Safari/12602.1.50.0.10 CFNetwork/807.0.4 Darwin/16.0.0 (x86_64)”

所以对访问日志的ip做了一个简单统计：
1）先把ip取出来（为了减少数据量，其实也可以直接压缩后下载到本地），再下载到本地
root@iZ28bhfjhgkZ:/var/log/nginx# cat access.log|awk ‘{print $1}’ > tt

在sparkshell中执行下面的代码：
val line = sc.textFile(“/data1/data/t1″)
line.flatMap(_.split(” “)).map((_,1)).reduceByKey(_+_).map(e => (e._2, e._1)).reduceByKey(_+”,”+_).sortByKey(true,1).saveAsTextFile(“/data1/data/t3”)

2）最后的结果t3的内容如下，发现这几个ip的访问量非常大，尤其191.96.249.53
。。。。。
(855,182.92.148.207)
(3100,121.8.136.75)
(3889,61.135.169.81)
(53513,191.96.249.53)

3）再搞一个iptables限制，搞定。spark做这种统计分析还是非常简单的，就是一行代码搞定分析。
root@iZ28bhfjhgkZ:/var/log# iptables -L
Chain INPUT (policy ACCEPT)
target prot opt source destination

Chain FORWARD (policy ACCEPT)
target prot opt source destination

Chain OUTPUT (policy ACCEPT)
target prot opt source destination
root@iZ28bhfjhgkZ:/var/log# iptables -A INPUT -s 191.96.249.53 -j DROP
root@iZ28bhfjhgkZ:/var/log# iptables -L
Chain INPUT (policy ACCEPT)
target prot opt source destination
DROP all — DEDICATED.SERVER anywhere

Chain FORWARD (policy ACCEPT)
target prot opt source destination

Chain OUTPUT (policy ACCEPT)
target prot opt source destination
root@iZ28bhfjhgkZ:/var/log#

1 HashPartitioner分区

HashPartitioner分区的原理很简单，对于给定的key，计算其hashCode，并除于分区的个数取余，如果余数小于0，则用余数+分区的个数，最后返回的值就是这个key所属的分区ID。实现如下：

class HashPartitioner(partitions: Int) extends Partitioner {
require(partitions >= 0, s"Number of partitions ($partitions) cannot be negative.")

def numPartitions: Int = partitions // 分片数初始化

def getPartition(key: Any): Int = key match {
case null => 0
case _ => Utils.nonNegativeMod(key.hashCode, numPartitions)
//对key的hashCode进行按照numPartitions取模，这里返回的是一个正整数。
}

override def equals(other: Any): Boolean = other match {
case h: HashPartitioner =>
h.numPartitions == numPartitions
case _ =>
false
}
override def hashCode: Int = numPartitions
}
下面是string的hashCode的实现，这里可以看出这hash其实就是很简单的一个字符串按int累加。最后返回的也是一个整型值。

public int hashCode() {
int h = hash;
if (h == 0 && value.length > 0) {
char val[] = value;
for (int i = 0; i < value.length; i++) {
h = 31 * h + val[i];
}
hash = h;
}
return h;
}
从这里看出partitioner的实现是非常简单的，但是实际工作中这个partitioner规则有可能要我们按照自己的数据规则重新定义，就需要扩展partitioner了。下面是我们扩展cityhash算法的partitioner。

2 自定义Partitioner扩展


import org.apache.spark.Partitioner;

public class CityHashPartitioner extends Partitioner {
static {
System.loadLibrary(“cityhash”); //加载cityhash的so文件
}
private int numParts;

public CityHashPartitioner(int numParts) {
this.numParts = numParts;
}

public int getPartition(Object key) {
return (int) cityhashJNI.CityHash64IdataMod(key.toString(), key.toString().length(), numParts);
//调用cityhash的取模函数，进行取模计算。
}

public int numPartitions() {
return numParts;
}
}
还是比较简单，使用时直接按照下面的方式使用即可。

CityHashPartitioner partitioner = new CityHashPartitioner(partnum);

world_rdd.repartitionAndSortWithinPartitions(partitioner)

.saveAsHadoopFile(world_out_path, String.class,

String[].class, TextFileOutFormat.class);

TextFileOutFormat又是一个自定义的文件输出类。

来自Stanford的新的分布式协议研究称为Raft，它是一个为真实世界应用建立的协议，主要注重协议的落地性和可理解性。

在了解Raft之前，我们先了解Consensus一致性这个概念，它是指多个服务器在状态达成一致，但是在一个分布式系统中，因为各种意外可能，有的服务器可能会崩溃或变得不可靠，它就不能和其他服务器达成一致状态。这样就需要一种Consensus协议，一致性协议是为了确保容错性，也就是即使系统中有一两个服务器当机，也不会影响其处理过程。

为了以容错方式达成一致，我们不可能要求所有服务器100%都达成一致状态，只要超过半数的大多数服务器达成一致就可以了，假设有N台服务器，N/2 +1 就超过半数，代表大多数了。

Paxos和Raft都是为了实现Consensus一致性这个目标，这个过程如同选举一样，参选者需要说服大多数选民(服务器)投票给他，一旦选定后就跟随其操作。Paxos和Raft的区别在于选举的具体过程不同。

在Raft中，任何时候一个服务器可以扮演下面角色之一：

1. Leader: 处理所有客户端交互，日志复制等，一般一次只有一个Leader.
2. Follower: 类似选民，完全被动
3. Candidate候选人: 类似Proposer律师，可以被选为一个新的领导人。

Raft阶段分为两个，首先是选举过程，然后在选举出来的领导人带领进行正常操作，比如日志复制等。下面用图示展示这个过程：

1. 任何一个服务器都可以成为一个候选者Candidate，它向其他服务器Follower发出要求选举自己的请求：

2. 其他服务器同意了，发出OK。

注意如果在这个过程中，有一个Follower当机，没有收到请求选举的要求，因此候选者可以自己选自己，只要达到N/2 + 1 的大多数票，候选人还是可以成为Leader的。

3. 这样这个候选者就成为了Leader领导人，它可以向选民也就是Follower们发出指令，比如进行日志复制。

4. 以后通过心跳进行日志复制的通知

5. 如果一旦这个Leader当机崩溃了，那么Follower中有一个成为候选者，发出邀票选举。

6. Follower同意后，其成为Leader，继续承担日志复制等指导工作：

值得注意的是，整个选举过程是有一个时间限制的，如下图：

Splite Vote是因为如果同时有两个候选人向大家邀票，这时通过类似加时赛来解决，两个候选者在一段timeout比如300ms互相不服气的等待以后，因为双方得到的票数是一样的，一半对一半，那么在300ms以后，再由这两个候选者发出邀票，这时同时的概率大大降低，那么首先发出邀票的的候选者得到了大多数同意，成为领导者Leader，而另外一个候选者后来发出邀票时，那些Follower选民已经投票给第一个候选者，不能再投票给它，它就成为落选者了，最后这个落选者也成为普通Follower一员了。

日志复制

下面以日志复制为例子说明Raft算法，假设Leader领导人已经选出，这时客户端发出增加一个日志的要求，比如日志是”sally”：

2. Leader要求Followe遵从他的指令，都将这个新的日志内容追加到他们各自日志中：

3.大多数follower服务器将日志写入磁盘文件后，确认追加成功，发出Commited Ok:

4. 在下一个心跳heartbeat中，Leader会通知所有Follwer更新commited 项目。

对于每个新的日志记录，重复上述过程。

如果在这一过程中，发生了网络分区或者网络通信故障，使得Leader不能访问大多数Follwers了，那么Leader只能正常更新它能访问的那些Follower服务器，而大多数的服务器Follower因为没有了Leader，他们重新选举一个候选者作为Leader，然后这个Leader作为代表于外界打交道，如果外界要求其添加新的日志，这个新的Leader就按上述步骤通知大多数Followers，如果这时网络故障修复了，那么原先的Leader就变成Follower，在失联阶段这个老Leader的任何更新都不能算commit，都回滚，接受新的Leader的新的更新。

总结：目前几乎所有语言都已经有支持Raft算法的库包，具体可参考：raftconsensus.github.io

英文动画演示Raft

CAP定理

分布式Paxos算法

初识Spark

作为一家在移动互联网大数据领域创业的公司，时刻关注大数据技术领域的发展和进步是公司技术团队必做的功课。而在整理Strata 2013公开的讲义时，一篇主题为《An Introduction on the Berkeley Data Analytics Stack_BDAS_Featuring Spark,Spark Streaming,and Shark》的教程引起了整个技术团队的关注和讨论，其中Spark基于内存的RDD模型、对机器学习算法的支持、整个技术栈中实时处理和离线处理的统一模型以及Shark都让人眼前一亮。同时期我们关注的还有Impala，但对比Spark，Impala可以理解为对Hive的升级，而Spark则尝试围绕RDD建立一个用于大数据处理的生态系统。对于一家数据量高速增长，业务又是以大数据处理为核心并且在不断变化的创业公司而言，后者无疑更值得进一步关注和研究。

Spark初探

2013年中期，随着业务高速发展，越来越多的移动设备侧数据被各个不同的业务平台收集。那么这些数据除了提供不同业务所需要的业务指标，是否还蕴藏着更多的价值？为了更好地挖掘数据潜在价值，我们决定建造自己的数据中心，将各业务平台的数据汇集到一起，对覆盖设备的相关数据进行加工、分析和挖掘，从而探索数据的价值。初期数据中心主要功能设置如下所示：

1. 跨市场聚合的安卓应用排名；

2. 基于用户兴趣的应用推荐。

基于当时的技术掌握程度和功能需求，数据中心所采用的技术架构如图1。

整个系统构建基于Hadoop 2.0（Cloudera CDH4.3），采用了最原始的大数据计算架构。通过日志汇集程序，将不同业务平台的日志汇集到数据中心，并通过ETL将数据进行格式化处理，储存到HDFS。其中，排名和推荐算法的实现都采用了MapReduce，系统中只存在离线批量计算，并通过基于Azkaban的调度系统进行离线任务的调度。

第一个版本的数据中心架构基本上是以满足“最基本的数据利用”这一目的进行设计的。然而，随着对数据价值探索得逐渐加深，越来越多的实时分析需求被提出。与此同时，更多的机器学习算法也亟需添加，以便支持不同的数据挖掘需求。对于实时数据分析，显然不能通过“对每个分析需求单独开发MapReduce任务”来完成，因此引入Hive 是一个简单而直接的选择。鉴于传统的MapReduce模型并不能很好地支持迭代计算，我们需要一个更好的并行计算框架来支持机器学习算法。而这些正是我们一直在密切关注的Spark所擅长的领域——凭借其对迭代计算的友好支持，Spark理所当然地成为了不二之选。2013年9月底，随着Spark 0.8.0发布，我们决定对最初的架构进行演进，引入Hive作为即时查询的基础，同时引入Spark计算框架来支持机器学习类型的计算，并且验证Spark这个新的计算框架是否能够全面替代传统的以MapReduce为基础的计算框架。图2为整个系统的架构演变。

在这个架构中，我们将Spark 0.8.1部署在YARN上，通过分Queue，来隔离基于Spark的机器学习任务，计算排名的日常MapReduce任务和基于Hive的即时分析任务。

想要引入Spark，第一步需要做的就是要取得支持我们Hadoop环境的Spark包。我们的Hadoop环境是Cloudera发布的CDH 4.3，默认的Spark发布包并不包含支持CDH 4.3的版本，因此只能自己编译。Spark官方文档推荐用Maven进行编译，可是编译却不如想象中顺利。各种包依赖由于众所周知的原因，不能顺利地从某些依赖中心库下载。于是我们采取了最简单直接的绕开办法，利用AWS云主机进行编译。需要注意的是，编译前一定要遵循文档的建议，设置：

export MAVEN_OPTS=”-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m”

否则，编译过程中就会遇到内存溢出的问题。针对CDH 4.3，mvn build的参数为：

mvn -Pyarn-alpha -Phive -Dhadoop.version=2.0.0-cdh4.3.0 -DskipTests clean package

在编译成功所需要的Spark包后，部署和在Hadoop环境中运行Spark则是非常简单的事情。将编译好的Spark目录打包压缩后，在可以运行Hadoop Client的机器上解压缩，就可以运行Spark了。想要验证Spark是否能够正常在目标Hadoop环境上运行，可以参照Spark的官方文档，运行example中的SparkPi来验证：

2.编译protobuf
解压下载的tar.gz包，cd到protobuf的目录下，执行以下指令：
./configure
make
make check
make install

3.检查安装是否成功
protoc –version
如果成功，则会输出版本号信息，例如：libprotoc 2.6.1
如果有问题，则会输出错误内容。

4.错误及解决方法
protoc: error while loading shared libraries: libprotoc.so.9: cannot open shared object file: No such file or directory
错误原因：
protobuf的默认安装路径是/usr/local/lib，而/usr/local/lib 不在Ubuntu体系默认的 LD_LIBRARY_PATH 里，所以就找不到该lib
解决方法：
1. 创建文件 /etc/ld.so.conf.d/libprotobuf.conf 包含内容
/usr/local/lib

2. 输入命令
ldconfig

再运行protoc –version 就可以正常看到版本号了

class Shape {
public:
Shape() {
nshapes++;
}
virtual ~Shape() {
nshapes–;
};
double x, y;
void move(double dx, double dy);
virtual double area() = 0;
virtual double perimeter() = 0;
int nshapes;
};

class Circle : public Shape {
private:
double radius;
public:
Circle(double r) : radius(r) { };
~Circle() {};
virtual double area();
virtual double perimeter();
};

class Square : public Shape {
private:
double width;
public:
Square(double w) : width(w) { };
~Square() {};
virtual double area();
virtual double perimeter();
};

#endif // TEST_CODE_SWIG_TEST_SHAPE_H

swig代码:swigshape.i
/* File : swigshape.i */
%module swigshape

%{
#include “swigshape.h”
%}

/* Let’s just grab the original header file here */
%include “swigshape.h”

java测试代码: helloswig.java
public class helloswig {

static {
System.out.println(System.getProperty(“java.library.path”));
System.loadLibrary(“shape”);
}

public static void main(String argv[]) {
//
System.out.println( “Creating some objects:” );
Circle c = new Circle(10);
System.out.println( ” Created circle ” + c );
Square s = new Square(10);
System.out.println( ” Created square ” + s );

c.delete();
s.delete();

System.out.println( “Goodbye” );
}
}

scons文件:SConstruct
VariantDir(“.obj/”, “./”, duplicate=0);
env = Environment() # Initialize the environment
env.Append(CCFLAGS = [‘-g’,’-O3′])

env.Append(CPPDEFINES={‘RELEASE_BUILD’ : ‘1’})
env.Append(LIBPATH = [‘/usr/local/lib/’])
env.Append(CPPDEFINES=[‘BIG_ENDIAN’])
env.Append(CPPPATH = [‘/usr/local/include/’, ‘/usr/lib/jvm/java-8-openjdk-amd64/include/’, ‘/usr/lib/jvm/java-8-openjdk-amd64/include/linux/’])

env.SharedLibrary(
target = ‘shape’,
source = [“.obj/swigshape.cpp”, “.obj/swigshape_wrap.cxx”]
)

swigshape_wrap.cxx 由swig编译生成

编译运行:
elight@helight-xu:/data/helight_project/xlight/test_code/swig_test$ swig -c++ -java swigshape.i

helight@helight-xu:/data/helight_project/xlight/test_code/swig_test$ ls
Circle.java helloswig.java SConstruct Shape.java Square.java swigshape.cpp swigshape.h swigshape.i swigshape.java swigshapeJNI.java swigshape_wrap.cxx

编译生成静态库:
helight@helight-xu:/data/helight_project/xlight/test_code/swig_test$ scons
scons: Reading SConscript files …
scons: done reading SConscript files.
scons: Building targets …
scons: building associated VariantDir targets: .obj
g++ -o libshape.so -shared .obj/swigshape.os .obj/swigshape_wrap.os -L/usr/local/lib
scons: done building targets.
helight@helight-xu:/data/helight_project/xlight/test_code/swig_test$ ls
Circle.java helloswig.java libshape.so SConstruct Shape.java Square.java swigshape.cpp swigshape.h swigshape.i swigshape.java swigshapeJNI.java swigshape_wrap.cxx

编译java代码:
helight@helight-xu:/data/helight_project/xlight/test_code/swig_test$ javac *.java
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar

运行代码:
helight@helight-xu:/data/helight_project/xlight/test_code/swig_test$ export LD_LIBRARY_PATH=./
helight@helight-xu:/data/helight_project/xlight/test_code/swig_test$ java helloswig
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar
./:/usr/java/packages/lib/amd64:/usr/lib/x86_64-linux-gnu/jni:/lib/x86_64-linux-gnu:/usr/lib/x86_64-linux-gnu:/usr/lib/jni:/lib:/usr/lib
Creating some objects:
Created circle Circle@677327b6
Created square Square@14ae5a5
Goodbye
helight@helight-xu:/data/helight_project/xlight/test_code/swig_test$

编译问题:
helight@helight-xu:/data/helight_project/xlight/test_code/swig_test$ java helloswig
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar
Exception in thread “main” java.lang.UnsatisfiedLinkError: no shape in java.library.path
at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1865)
at java.lang.Runtime.loadLibrary0(Runtime.java:870)
at java.lang.System.loadLibrary(System.java:1122)
at helloswig.<clinit>(helloswig.java:4)
主要是jvm运行时候加载我们指定的shape的动态库的时候找不到路径,用下买的方式增加一个搜索目录.
export LD_LIBRARY_PATH=./

helight@helight-xu:/data/helight_project/xlight/test_code/swig_test$ java helloswig
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar
./:/usr/java/packages/lib/amd64:/usr/lib/x86_64-linux-gnu/jni:/lib/x86_64-linux-gnu:/usr/lib/x86_64-linux-gnu:/usr/lib/jni:/lib:/usr/lib
Creating some objects:
Exception in thread “main” java.lang.UnsatisfiedLinkError: shapeJNI.new_Circle(D)J
at shapeJNI.new_Circle(Native Method)
at Circle.<init>(Circle.java:38)
at helloswig.main(helloswig.java:11)
主要静态库编译的时候没有swig的文件也编译到里面导致,在scons的配置文件中增加:swigshape_wrap.cxx

g++ -o .obj/shape_wrap.os -c -g -O3 -fPIC -DRELEASE_BUILD=1 -DBIG_ENDIAN -I/usr/local/include shape_wrap.cxx
shape_wrap.cxx:159:17: fatal error: jni.h: No such file or directory
#include <jni.h>

java的jni头文件引用路径没有设置, 以下方式添加.
env.Append(CPPPATH = [‘/usr/local/include/’, ‘/usr/lib/jvm/java-8-openjdk-amd64/include/’, ‘/usr/lib/jvm/java-8-openjdk-amd64/include/linux/’])

E:\idata_spark_work\test\target>java -cp .\test-0.0.1-SNAPSHOT-jar-with-dependencies.jar org.zhwen.test.HelloClientDemo