标签 hadoop 下的文章

Hbase基础(一)

名称 命令表达式
创建表 create 'table_name, 'family1','family2','familyN'
添加记录 put 'table_name', 'rowkey', 'family:column', 'value'
查看记录 get 'table_name', 'rowkey' 查询单条记录,也是hbase 最常用的命令
查看表中的记录总数 count 'table_name' 这个命令并不快,且目前没有找到更快的方式统计行数
删除记录 delete 'table_name' ,'rowkey','family_name:column' /delete al
'table_name','rowkey' 删除一条记录单列的数据/ 删除整条记录
删除一张表 1、disable 'table_name' 2、drop 'table_name'
查看所有记录 scan "table_name" ,{LIMIT=>10} LIMIT=>10 只返回10条记录,否则将全部展示
查看某个表某个列中所有数据 scan "表名称" , ['列名称:']
更新记录 就是重写一遍进行覆盖

- 阅读剩余部分 -

Hadoop分布式文件系统

(此学习笔记整理于《Hadoop权威指南》第三章)

背景:Hadoop分布式文件系统:HDFS(Hadoop Distributed Filesystem)

1.HDFS的设计

  • HDFS以流式数据访问模式来储存超大文件,运行于商用硬件集群上。
  • 超大文件(几百MB、GB、TB)
  • 流式数据访问(一次写入、多次读取是最高效的访问模式。读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。)
  • 商用硬件(普通硬件、故障几率较大,但是坏掉可以继续运行且不让用户感到明显的中断。)
  • 低时间延迟的数据访问(如几十毫秒范围内的不适合HDFS,高数据吞吐量必定会以时间为代价。低延迟需求Hbase或许更好。)
  • 大量的小文件(该系统能存储的文件总数受限于namenode的内存容量,每个文件目录和数据块的存储信息大概占用150字节)
  • 多用户写入,任意修改文件(该系统只有1个writer,且写操作总是添加在文件的末尾。不支持多个writer或在文件的任意位置进行修改。)

2.HDFS的概念

- 阅读剩余部分 -

Kafka 介绍与实践

一.Kafka基础

1.1 实践内容

本文将介绍 Kafka 及实现原理,然后完整搭建,demo演示。

1.2 项目来源

参考资料: http://kafka.apache.org/documentation.html

1.3. 实践知识点

生产者/消费者模型
单机/集群的区别
设计原理

1.4 实验环境

Hadoop 2.6.1
kafka_2.10-0.8.1.1
Xfce 终端

1.5 适合人群

本文属于中等难度级别,适合具有 hadoop 基础的用户,如果对分布式文件系统了解能够更好的上手。

- 阅读剩余部分 -

bst g22 jinniu lilai opebet orange88 vinbet xbet yuebo zunlong shijiebei bet007 hg0088 ju111 letiantang m88 mayaba qg777 qianyiguoji sbf777 tengbohui tlc ule weilianxier waiweitouzhu xingfayule xinhaotiandi yinheyule youfayule zhongying 2018shijiebei w88 18luck 188bet beplay manbet 12bet 95zz shenbo weide1946 ca88 88bifa aomenxinpujing betway bodog bt365 bwin tongbao vwin weinisiren 88jt fenghuangyule hongyunguoji 918botiantang huanyayule jianada28 jixiangfang libo long8 hongzuyishi zuqiutouzhu