现在位置: 首页

Hadoop+hbase+hive环境搭建

时间:2018年02月11日 | 分类:hadoop | 评论:0 条 | 浏览:211 次
Hadoop是一个开发和运行处理大规模数据的平台,实现在多台计算机组成的集群中对海量数据进行分布式计算。 hadoop框架最核心的部分是hdfs和mapreduce。hdfs提供了海量数据的存储,mapreduce提供了对数据的计算。 hadoop处理海量数据,需要hbase做数据库,hbase是面向列的分布式数据库,使用集群环境的内存做处理,但是不支持sql语句,所以操作和计算数据非常不方便,于是整合hive,hive支持sql语句,让hive支撑在hbase数据库层面...
阅读全文

MySQL优化器:index merge介绍

时间:2018年01月17日 | 分类:数据库优化 | 评论:0 条 | 浏览:245 次
在MySQL官方手册上,关于index merge的介绍非常非常少。甚至还有不少误导的地方,这次把5.1版本关于此类优化处理的代码细看了一遍,以案例的方式介绍了各种实用index merge访问类型的SQL。后续的还会继续介绍index merge实现的主要数据结构,以及成本评估。 1. 什么是index merge MySQL优化器如果发现可以使用多个索引查找后的交集/并集定位数据,那么MySQL优化器就会尝试index merge这类访问方式。index merge主要分为两大类,...
阅读全文

Linux抓包工具tcpdump

时间:2017年02月05日 | 分类:Linux | 评论:0 条 | 浏览:1,534 次
tcpdump是查看网络状况,诊断网络问题的利器,熟练的使用可以很容易看到连接的建立,收发数据,断开 tcpdump采用命令行方式,它的命令格式为: tcpdump [ -adeflnNOpqStvx ] [ -c 数量 ] [ -F 文件名 ] [ -i 网络接口 ] [ -r 文件名] [ -s snaplen ] [ -T 类型 ] [ -w 文件名 ] [表达式 ] tcpdump的选项介绍 -A     以ASCII格式打印出所有分组,并将链路层的头最小化。 -c      在收到指定的数量的分组后,tcpdump就会停止。 -C...
阅读全文

MySQL自带的性能压力测试工具mysqlslap

时间:2017年02月05日 | 分类:初识MySQL | 评论:0 条 | 浏览:1,845 次
mysqlslap是从MySQL的5.1.4版开始就开始官方提供的压力测试工具。 通过模拟多个并发客户端并发访问MySQL来执行压力测试,同时提供了较详细的SQL执行数据性能报告,并且能很好的对比多个存储引擎(MyISAM,InnoDB等)在相同环境下的相同并发压力下的性能差别。 mysqlslap 官方介绍:http://dev.mysql.com/doc/refman/5.6/en/mysqlslap.html 常用参数 [options] 详解 --host=host_name, -h host_name 连接到的MySQL服务器的主机名...
阅读全文

利用xtrabackup和binlog恢复单表误删数据思路

时间:2016年08月17日 | 分类:备份恢复 | 评论:0 条 | 浏览:2,495 次
昨晚,有个朋友说它的DB有张表,被研发误删了一部分数据,咨询我一些恢复的思路: 环境:全备、增备、日志、主从、binlog-format=mixed 由于binlog格式的限制,没法从binlog里面反向解析误删数据,因此,就有了下面的思路,有什么遗漏的或者不到位的地方,欢迎大家指正!! 1.必须有xtrabackup备份 这里包括全备和增备 2.在全备和增备上都执行--apply-log --redo-only操作 执行完此操作后,备份的数据目录里会包含以下几种数据...
阅读全文

Kettle 在windows 7 下的部署

时间:2016年06月06日 | 分类:windows | 评论:0 条 | 浏览:3,728 次
需要的包名如下: tomcat,jdk,MySQL ODBC/JDBC,pdi-ce-6.1.0.1-196 kettle官网下载地址: https://sourceforge.net/projects/pentaho/files/Data%20Integration/6.1/pdi-ce-6.1.0.1-196.zip/download tomcat官网下载地址: http://tomcat.apache.org/download-70.cgi MySQL ODBC/JDBC下载地址: http://www.mysql.com/products/connector/ 1.首先,安装JDK: windows下的安装,就不细讲了,一直点“下一步”,直到完成; 需要注...
阅读全文

自增表死锁问题分析及处理

时间:2016年05月30日 | 分类:MySQL故障 | 评论:0 条 | 浏览:2,544 次
今天,研发提交了一个死锁信息,涉及到自增表的死锁,测试,压测产生的死锁信息,并发500,信息如下: 从上面死锁信息来看,lock mode AUTO-INC waiting,应该是表的自增列的问题,初步了解,这个死锁和 innodb_autoinc_lock_mode 的值有一定的关系,但也不因全归咎于mysql的问题。 从5.6的用户手册中查找到AUTO-INC的相关信息: InnoDB uses a special lock called the table-level AUTO-INC lock for inserts into tables wit...
阅读全文