本文是今年5月在中国云计算大会中的分享内容，主要是介绍腾讯游戏数据分析平台的一些后台架构设计和游戏分析思路。
在“大数据”相对泛滥的今天，我们看到很多讨论各种大数据架构、存储、工具、算法等等。但是大数据工具在具体应用场景中的计算各有不同之处，那在游戏数据分析中我们腾讯是怎么做的呢？本话题将简单[……]
Tag: hadoop
【转载】从Hadoop到Spark的架构实践
当下，Spark已经在国内得到了广泛的认可和支持：2014年，Spark Summit China在北京召开，场面火爆；同年，Spark Meetup在北京、上海、深圳和杭州四个城市举办，其中仅北京就成功举办了5次，内容更涵盖Spark Core、Spark Streaming、Spark MLli[……]
spark1.3.1单机安装测试备忘
1.下载,安装spark和scala:
下载1.3.1的hadoop2.6版本. spark-1.3.1-bin-hadoop2.6.tgz
下载到本地之后直接解压即可:
helight@helight-xu:/data/spark$ tar zxf spark-1.3.1-bin-hadoop2.6.tgz
下载scala,2.11.6,也是直接解压即可:
helight@helight-xu:/data/spark$ tar zxf scala-2.11.6.tgz
[……]
一种简单的分布式存储系统
三层架构（MetaNodeMonitor+MetaNode+DataNode），核心是下面两层（MetaNode+DataNode），下面两层是可以脱离Monitor独立运行。
Monitor的存在主要是作为一个MetaNode的监控和MetaNode出错时进行切换角色，并且通知DataNod[……]
hdfs的C++接口编译测试
项目中要做一个数据包管理服务，我们主要项目开发都是C++的，所以这个数据包管理也是c++开发的，但是数据包的存储是个问题，最后选择了本地存储和hdfs存储结合。
昨天调试了以下hdfs的C++接口，简单这里记录一下：
代码程序是网上随处可以搜到的测试代码：
#includ[……]
Hadoop2.3.0源码编译过程记录
要在hadoop上作一个mr程序，做一些统计工作。但是发现官网下载的2.3的库只有32位的，而我的机器系统都是64位的。用g++直接指定编译32位的程序又发现头文件依赖有问题，没法编译通过。所以就只能编译hadoop，编译后在服务上启动64位程序，再编译mr程序进行工作。下面是编译的过程和其[……]
hadoop2.3单机搭建
没事整理了之前搭建hadoop的过程，这里使用了最新的hadoop版本，想在单机上做一些测试，顺手也就整理了一下这个文档。
一、准备环境
1．Hadoop是用Java开发的，必须要安装JDK1.6或更高版本
apt-get install openjdk-6-jdk
2[……]
配置SSH无密码登录问题解决记录
在本地测试搭建hadoop玩以下，不想在ssh配置上栽了了，记录以下过程和处理方式：
hadoop@debian:~$ ssh-keygen -t rsa #一直回车生成
hadoop@debian:~$ cd
hadoop@debian:~$ cd .ssh/
hadoop@debian[……]