标签 key 下的文章

Redis Installation & Basic Commands


A.Redis Installation

1.set root password:

    $sudo passwd
    input the password already changed and get the root authority:
    $su 

2.select the redis version:

    for example:version-2.8.9 for Redis version-2.4.2 for Jedis(redis for java) 

3.get into thr root directory and download the redisJar:

    $cd
    $wget http://labfile.oss.aliyuncs.com/files0422/redis-2.8.9.tar.gz

4.unzip the redisJar:

    $tar -xzvf redis-2.8.9.tar.gz

5.move into the new directory redis-2.8.9 and compile it:

    $cd redis-2.8.9
    $make


Hadoop排序工具用法小结


本文转载自Silhouette的文章,原文地址:http://www.dreamingfish123.info/?p=1102

Hadoop排序工具用法小结
发表于 2014 年 8 月 25 日 由 fish
Hadoop用于对key的排序和分桶的设置选项比较多和复杂,目前在公司内主要以KeyFieldBasePartitioner和KeyFieldBaseComparator被hadoop用户广泛使用。

基本概念:

Partition:分桶过程,用户输出的key经过partition分发到不同的reduce里,因而partitioner就是分桶器,一般用平台默认的hash分桶也可以自己指定。
Key:是需要排序的字段,相同分桶&&相同key的行排序到一起。

下面以一个简单的文本作为例子,通过搭配不同的参数跑出真实作业的结果来演示这些参数的使用方法。
假设map的输出是这样以点号分隔的若干行:

d.1.5.23
e.9.4.5
e.5.9.22
e.5.1.45
e.5.1.23
a.7.2.6
f.8.3.3
我们知道,在streaming模式默认hadoop会把map输出的一行中遇到的第一个设定的字段分隔符前面的部分作为key,后面的作为 value,如果输出的一行中没有指定的字段分隔符,则整行作为key,value被设置为空字符串。 那么对于上面的输出,如果想用map输出的前2个字段作为key,后面字段作为value,并且不使用hadoop默认的“\t”字段分隔符,而是根据该 文本特点使用“.”来分割,需要如何设置呢


bst g22 jinniu lilai opebet orange88 vinbet xbet yuebo zunlong shijiebei bet007 hg0088 ju111 letiantang m88 mayaba qg777 qianyiguoji sbf777 tengbohui tlc ule weilianxier waiweitouzhu xingfayule xinhaotiandi yinheyule youfayule zhongying 2018shijiebei w88 18luck 188bet beplay manbet 12bet 95zz shenbo weide1946 ca88 88bifa aomenxinpujing betway bodog bt365 bwin tongbao vwin weinisiren 88jt fenghuangyule hongyunguoji 918botiantang huanyayule jianada28 jixiangfang libo long8 hongzuyishi zuqiutouzhu