zz MySQL的InnoDB索引原理详解

原文地址:http://www.admin10000.com/document/5372.html

摘要:

本篇介绍下Mysql的InnoDB索引相关知识,从各种树到索引原理到存储的细节。

InnoDB是Mysql的默认存储引擎(Mysql5.5.5之前是MyISAM,文档)。本着高效学习的目的,本篇以介绍InnoDB为主,少量涉及MyISAM作为对比。

这篇文章是我在学习过程中总结完成的,内容主要来自书本和博客(参考文献会给出),过程中加入了一些自己的理解,描述不准确的地方烦请指出。

  1 各种树形结构

本来不打算从二叉搜索树开始,因为网上已经有太多相关文章,但是考虑到[……]

Read more

ngingx访问限制和iptables简单使用

为了方便安装了一个phpmyadmin,结果公司扫描了之后说要做一些安全限制,主要还是用到nginx的访问限制和iptables,这里稍微做一下记录

nginx的限制较为简单,在server中添加对phpmyadmin的限制即可

location ~* /phpmyadmin/ {

allow 192.168.3.0/24;

deny all;

}
主要还是记录一下iptables的简单使用:
1、查看
iptables -vL –line-number
-v 输出详细信息,包含通过该规则的数据包数量,总字节数及相应的网络接口
-L 查看当前[……]

Read more

hdfs的C++接口编译测试

 项目中要做一个数据包管理服务,我们主要项目开发都是C++的,所以这个数据包管理也是c++开发的,但是数据包的存储是个问题,最后选择了本地存储和hdfs存储结合。
    昨天调试了以下hdfs的C++接口,简单这里记录一下:
代码程序是网上随处可以搜到的测试代码:

#include <stdlib.h> 
#include <stdio.h> 
#include <string.h> 
#include “hdfs.h” 

int main(int argc, char **argv) { 

hdfsFS fs = hdfsConnect(“127[……]

Read more

zz分布式文件系统FastDFS架构剖析

   【本文系外部转贴,原文地址:http://www.programmer.com.cn/4380/

FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。 它只 能通过专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,Google FS以及FastDFS、 mogileFS、HDFS、TFS等类Google FS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。

FastDFS的设计理念

FastDFS是为互联网应用量身定做的分布式文件系统[……]

Read more

扩展sawzall代码实现自定义接口

使用sawzall开发mr程序虽然很快,不过也有不少限制,尤其对于新手来说,比如不能直接像c++一样调用线程的库,不过它提供了一种扩展开发的方式,我们可以自己修改sawzall代码实现新的功能接口,在下载平台的sawzall代码中,我们就扩展了一种聚合器,两个和我们web相关的功能接口:连接我们的domain service进行聚合域名的识别,根据url进行域名提取。这里以使用我们comm库中的url类进行域名提取为例来说明一下sawzall的功能函数扩展。

首先来看一下sawzall代码的目录结构和其用途说明

Szl的src目录下有如下一些文件夹:
app:包含szl本地化工具[……]

Read more

海量数据分析:Sawzall并行处理(中文版论文)

海量数据分析:Sawzall并行处理(中文版论文)
Google的工程师为了方便内部人员使用MapReduce,研发了一种名为 Sawzall的DSL,同时Hadoop也推出了类似Sawzall的Pig语言,但在语法上面有一定的区别。今天就给大家贴一下Sawall的论文, 值得注意的是其第一作者是UNIX大师之一(Rob Pike)。原文地址,并在这里谢谢译者崮山路上走9遍。

海量数据分析:Sawzall并行处理(中文版论文)

Google的工程师为了方便内部人员使用MapReduce,研发了一种名为SawzallDSL,同时Hadoop也推出了类似Sawzall的[……]

Read more

使用gdb和ps定位程序cpu占用问题

先使用ps获取子进程cpu占用时间,可以看出那个线程cpu占用严重
ps -m -o tid,cpu,time -p 6321
TID CPU     TIME
–   – 00:30:50
6321   – 00:00:00
6322   – 00:30:50
6323   – 00:00:00
6324   – 00:00:00
6325   – 00:00:00
6326   – 00:00:00
6327   – 00:00:00
6328   – 00:00:00

 在用gdb attach到进程上去看这个具体的线程信息
gdb -p  6321
 i[……]

Read more

Storm云计算学习摘录总结

本想自己也总结以下,看到这篇文章总结的太好了,直接转载了

原文:http://my.oschina.net/yilian/blog/175451

1.Storm概念:

是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.5.2,基本是用Clojure写的。

140807_X1DE_12

Storm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。这是管理[……]

Read more