详解spring封装hbase的代码实现

详解spring封装hbase的代码实现

前面我们讲了spring封装MongoDB的代码实现，这里我们讲一下spring封装Hbase的代码实现。

hbase的简介：

此处大概说一下，不是我们要讨论的重点。

HBase是一个分布式的、面向列的开源数据库，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过Hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。hbase给我的印象就是无限存，按照Key读取。

那么在我们的java程序中应该如何使用hbase呢。

首先：

引入hbase的jar包，如果不是Maven项目，可以单独按照以下格式下载hbase的jar包引入到你的项目里。

org.apache.hbase

hbase-client

0.96.2-hadoop2

其次：

增加hbase在spring中的配置。

1.    新增hbase-site.xml配置文件。以下是通用配置，具体每个参数的含义可以百度以下，这里不做详细讲解。

hbase.client.write.buffer

62914560

hbase.client.pause

1000

hbase.client.retries.number

10

hbase.client.scanner.caching

1

hbase.client.keyvalue.maxsize

6291456

hbase.rpc.timeout

60000

hbase.security.authentication

simple

zookeeper.session.timeout

60000

zookeeper.znode.parent

ZooKeeper中的HBase的根ZNode

zookeeper.znode.rootserver

root-region-server

hbase.zookeeper.quorum

zookeeper集群

hbase.zookeeper.property.clientPort

2181

2. 新建spring-config-hbase.xml文件，记得在spring的配置文件中把这个文件Import进去。

xmlns="http://springframework.org/schema/beans"

xmlns:xsi="http://w3.org/2001/XMLSchema-instance"

xmlns:hdp="http://springframework.org/schema/hadoop"

xsi:schemaLocation="http://springframework.org/schema/beans

http://springframework.org/schema/beans/spring-beans-3.0.xsd

http://springframework.org/schema/hadoop

http://springframework.org/schema/hadoop/spring-hadoop.xsd

">

xmlns="http://springframework.org/schema/beans"

xmlns:xsi="http://w3.org/2001/XMLSchema-instance"

xmlns:hdp="http://springframework.org/schema/hadoop"

xsi:schemaLocation="http://springframework.org/schema/beans

http://springframework.org/schema/beans/spring-beans-3.0.xsd

http://springframework.org/schema/hadoop

http://springframework.org/schema/hadoop/spring-hadoop.xsd

">

最后：

我们就可以重写我们的HbaseDaoImple类了。在这里可以实现我们操作hbase的代码逻辑。其中prism:OrderInfo是我们的表名，f是列族名称，OrderInfo的属性是列族下的列名。orderInfo是我程序定义的bean，你可以按照自己的需求定义自己的bean。

public class HbaseDaoImpl{

private HbaseTemplate hbaseTemplate;

private HConnection hconnection = null;

public HbaseDaoImpl(HbaseTemplate htemplate) throws Exception {

cyoNwTnNlb if (hconnection == null) {

hconnection = HConnectionManager.createConnection(htemplate.getConfiguration());

}

if (this.hbaseTemplate == null) {

this.hbaseTemplate = htemplate;

}

}

public void writeDataOrderinfo(final OrderInfo orderInfo) {

HTableInterface table = null;

try {

table = hconnection.getTable(Bytes.toBytes("prism:orderInfo"));

Put p = new Put(Bytes.toBytes( orderInfo.getHistoryId()));

p.add(Bytes.toBytes("f"), Bytes.toBytes("id"), Bytes.toBytes(orderInfo.getId()));

p.add(Bytes.toBytes("f"), Bytes.toBytes("historyId"), Bytes.toBytes(orderInfo.getHistoryId()));

p.add(Bytes.toBytes("f"), Bytes.toBytes("orderId"), Bytes.toBytes(orderInfo.getOrderId()));

p.add(Bytes.toBytes("f"), Bytes.toBytes("orderDirection"), Bytes.toBytes(orderInfo.getOrderDirection()));

p.add(Bytes.toBytes("f"), Bytes.toBytes("overStatus"), Bytes.toBytes(orderInfo.getOverStatus()));

p.add(Bytes.toBytes("f"), Bytes.toBytes("orgArea"), Bytes.toBytes(orderInfo.getOrgArea()));

table.put(p);

} catch (IOException e) {

throw new RuntimeException(e);

} finally {

if (table != null) {

try {

table.close();

} catch (IOException e) {

e.printStackTrace();

}

}

}

}

public OrderInfo getOrderInfoByRowkey(String rowKey) {

Get get = new Get(Bytes.toBytes(rowKey));

Scan scan = new Scan(get);

List list = hbaseTemplate.find("prism:orderInfo", scan, new RowMapper() {

@Override

public OrderInfo mapRow(Result result, int rowNum) throws Exception {

OrderInfo orderInfo = new OrderInfo();

orderInfo.setId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("id"))));

orderInfo.setHistoryId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("historyId"))));

orderInfo.setOrderId(Bytes.toLong(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("orderId"))));

return orderInfo;

}

});

if(list.size() > 0){

return list.get(0);

}else{

return null;

}

}

public List getOrderInfoByRange(String start_rowKey,String stop_rowKey) {

Scan scan = new Scan();

scan.setStartRow(Bytes.toBytes(start_rowKey));

scan.setStopRow(Bytes.toBytes(stop_rowKey));

HTableInterface table = null;

ResultScanner rs = null;

List list = new ArrayList();

try {

table = hconnection.getTable(Bytes.toBytes("prism:orderInfo"));

rs = table.getScanner(scan);

for(Result result : rs){

OrderInfo orderInfo = new OrderInfo();

orderInfo.setId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("id"))));

orderInfo.setHistoryId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("historyId"))));

orderInfo.setOrderId(Bytes.toLong(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("orderId"))));

orderInfo.setOrderDirection(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("orderDirection"))));

list.add(orderInfo);

}

} catch (IOException e) {

e.printStackTrace();

}finally{

rs.close();

}

return list;

}

public HbaseTemplate getHbaseTemplate() {

return hbaseTemplate;

}

public void setHbaseTemplate(HbaseTemplate hbaseTemplate) {

this.hbaseTemplate = hbaseTemplate;

}

}

注：在程序中，你可以使用spring封装的HbaseTemplate，也可以使用原生的hconnection等的操作方式，如何操作在我们的代码示例中都有。个人觉得，spring封装的HbaseTemplate不太好使，比如每次请求都会重新链接一下zookeeper集群（其中缘由我也没去研究，有研究透的同学还望不吝赐教）。建议用原生的方式。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。