HBase跑 map/reduce 须关闭Speculative Execution - 白话技术 - ITeye博客

`

杨俊华

浏览: 96103 次
性别:
来自: 南京

最近访客更多访客>>

beliefyou8

zaixiayuchen

xiaguangme

zjy_369

博主相关

博客

微博

相册

收藏

留言

关于我

文章分类

社区版块

存档分类

最新评论

suxain：解决了我弄了一天的编码问题啊呀！
java utf8字符导出csv 文件的乱码问题。
27g： 11/10/28 15:40:06 INFO mapred.J ...
记zookeeper 扰动导致HBase的一次不可用
杨俊华： sunwt 写道想问一下csv怎么解决excel打开65535 ...
java utf8字符导出csv 文件的乱码问题。
sunwt：想问一下csv怎么解决excel打开65535的问题？谢谢
java utf8字符导出csv 文件的乱码问题。
torry_1979：这个和操作系统有关系，和有ue的也有关系。有些utf8的文本就 ...
java utf8字符导出csv 文件的乱码问题。

HBase跑 map/reduce 须关闭Speculative Execution

hadoop hbase speculative execution job

阅读更多

什么是Speculative Execution

所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时Job Tracker会启动一个新的任务（duplicate task），原有任务和新任务哪个先执行完就把另外一个kill掉，这也是我们经常在Job Tracker页面看到任务执行成功，但是总有些任务被kill，就是这个原因。

mapred.map.tasks.speculative.execution=true

mapred.reduce.tasks.speculative.execution=true

这两个是推测执行的配置项，它们默认值是true

然而在HBase中，这样做，会加重regionserver的load。

因为用Hadoop map/reduce操作HBase的时候，会尽量采用本地原则，即相应的task尽量使用本地的数据。
而如果另起一个task，则会导致数据不在本地，凭空浪费IO和网络资源。

所以，强烈建议关闭 Speculative Execution

关闭的方法是在jobconf中设定

分享到：

磨枪：修改你的eclipse配置，加速eclipse | 记zookeeper 扰动导致HBase的一次不可用

2011-10-07 23:04
浏览 2550
评论(0)
论坛回复 / 浏览 (0 / 2209)
分类:互联网
查看更多

评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

分布式锁-分析产生的原因，推导解决方案的原理及注意事项，适用于redis/hbase/zookpeer/etcd/mysql等: 分布式锁-分析产生的原因，推导解决方案的原理及注意事项，适用于redis/hbase/zookpeer/etcd/mysql等，简要分析redisson原理图 b站视频地址：https://www.bilibili.com/video/BV1dg4y1F7C4

hbase-2.4.11-bin.tar.gz: https://dlcdn.apache.org/hbase/2.4.11/ hbase-2.4.11 稳定版安装部署包

hadoop map reduce hbase 一人一档: 人脸识别，车辆识别，一人一档，一车一档 hadoop map reduce hbase

centos7 安装 hbase单机版: 首先下载hbase安装包 wget http://mirror.bit.edu.cn/apache/hbase/stable/hbase-2.2.3-bin.tar.gz 解压压缩包 tar -zxvf hbase-2.2.3-bin.tar.gz 修改/opt/hbase-2.2.3/conf/hbse-env.sh文件第一步设置javahome ...

安装HBase，并启动运行: 传HBase安装包将准备好的HBase安装包上传到hadoop0结点的/opt/modules/softwares路径下二．解压HBase安装包 tar -zxvf hbase-1.2.6-bin.tar.gz 三．配置HBase环境变量 vi /etc/profile文件末追加HBase环境变量信息...

hbase_libJar包: hbase_lib，在Linux系统中解压后，配置环境变量HBASE_HOME

phoenix+spring+hbase: phoenix +hbase+spring 整合技术 phoenix +hbase+spring 整合技术 phoenix +hbase+spring 整合技术根据需要下载集成的jar phoenix-core-4.13.0-HBase-0.98.jar

hbase-shell批量命令执行脚本的方法: 批量执行hbase shell 命令 #!/bin/bash source /etc/profile exec $HBASE_HOME/bin/hbase shell <<EOF truncate 'tracker_total_apk_fact_zyt' major_compact('t_abc') disable 't_abc' drop 't_abc' create...

hbase-kmeans:使用 HBase 和 Map Reduce 的迭代 k 均值: 使用 HBase 和 Map Reduce 的迭代 k 均值问题陈述通过迭代运行 Map Reduce 作业，在 HBase 平台上使用 K-means 对能源效率数据集 ( ) 进行聚类。数据加载到 Hbase 由 DataLoader 类执行。该类将 Energy ...

hbase-2.4.16-bin.tar.gz: hbase官网下载地址（官网下载太慢）： https://downloads.apache.org/hbase/ 国内镜像hbase-2.4.16： https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.4.16/hbase-2.4.16-bin.tar.gz

hbase社区2018精选资料: http://hbase.group/的hbase社区 2018年HBase生态社群画像

hadoop-lzo-0.4.20.jar: 拷贝jar包到hadoop和hbase中 cp /opt/hadoopgpl/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar $HADOOP_HOME/share/hadoop/common/ cp /opt/hadoopgpl/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar $HBASE_HOME/lib/ 2.2.6. 拷贝本地...

hbase-2.4.11-src.tar.gz: https://dlcdn.apache.org/hbase/2.4.11/ hbase-2.4.11 稳定版源码(未编译)

hbase-spark-1.0.1.jar: https://github.com/apache/hbase-connectors/tree/master/spark mvn -Dspark.version=2.4.4 -Dscala.version=2.11.7 -Dscala.binary.version=2.11 clean install

14、大数据(3题)1: 2. 用户行为分析系统： 3. HBase如何实现模糊查询 4. map/reduce过程，如何用map/reduce实现两个数据源的联合统计

hbase-0.98.1源码包: hbase-0.98.1-src.tar.gz hbase 0.98源码包

hadoop hbase_shell操作命令: hadoop hbase_shell操作命令hadoop hbase_shell操作命令hadoop hbase_shell操作命令hadoop hbase_shell操作命令hadoop hbase_shell操作命令hadoop hbase_shell操作命令

hbase-1.2.6-bin.tar.gz: 该版本为hbase最稳定的版本，源地址如下，由于源服务器下载太慢，所以放到这里供大家使用资源源地址：http://archive.apache.org/dist/hbase/1.2.6/

大数据实验三-HBase编程实践: 一．实验内容 HBase编程实践： 1）在Hadoop基础上安装HBase； 2）使用Shell命令（create:创建表、list:列出HBase中所有的表信息、put:向表、行、列...（1）解压HBase文件到/usr/local目录下，并将目录改名为hbase：

Global site tag (gtag.js) - Google Analytics