liyonghui160com
- 浏览: 763333 次
- 性别:
- 来自: 北京
-
最新评论
-
liyonghui160com：
RAYFUXK 写道您好，我最近也在使用Canal，但是遇到了 ...
canal使用配置详解 -
xinglianxlxl：
订阅发布对我有用
redis-2.8.13 jedis实现订阅发布-publish/subscribe -
liyonghui160com：
这个不能按照一条一条的读取数据。使用需要完善。
flume文件监控的source，支持断点续传功能 -
RAYFUXK：
您好，我最近也在使用Canal，但是遇到了一个问题。ERROR ...
canal使用配置详解 -
yicong：
非常感谢！发现github里面的log4net版本太 ...
Zookeeper .Net客户端代码
文章列表
1. 准备安装文件
下载memcached与libevent的安装文件
http://memcached.googlecode.com/files/memcached-1.4.15.tar.gz（memcached下载地址）
https://github.com/downloads/libevent/libevent/libevent-2.0.21-stable.tar.gz（libevent下载地址）
2. 具体安装步骤
1.由于memcached依赖于libevent，因此需要安装libevent。由于linux系统可能默认已经安装 ...
最近在公司服务器上安装memcached安了很多次，每次都得上网来查一下步骤，今天干脆写个详细点的步骤记录一下，留作备忘。 一、检查libevent首先检查系统中是否安装了libevent rpm -qa|grep libevent 如果安装了则查看libevent的 ...
import com.jcraft.jsch.*;
import com.xx.dc.beans.Progress;
import com.xx.dc.beans.ProgressMessage;
import com.xx.dc.service.SessionManager;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import java.io.*;
import java.util.Arrays;
import java. ...
Hive权限控制
Hive权限机制：
Hive从0.10可以通过元数据控制权限。但是Hive的权限控制并不是完全安全的。基本的授权方案的目的是防止用户不小心做了不合适的事情。
先决条件：
为了使用Hive的授权机制，有两个参数必须在hive-site.xml中设置：
<property> <name>hive.security.authorization.enabled</name> <value>true</value> <description>enable or disable the hi ...
获取hive日志比较麻烦，通常的做法是执行shell命令获取日志，但是这样有一些问题，比如：输出的结果需要程序解析等，可以改进hive，采用jdbc的方式执行hive sql，并且把输出到控制台的日志保存到redis，其中kill job的命令日志用不同的key缓存到redis，如此可很方便获取查询结果、日志、kill命令。 具体实现方式如下： 修改hive-exec-0.12.0的如下几个类： 1、org.apache.hadoop.hive.ql.Driver 2、org.apache.hadoop.hive.ql.DriverContext 3、 ...
package com.pasier.xxx.util;
import java.io.IOException;
import java.io.InputStream;
import java.nio.charset.Charset;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import ch.ethz.ssh2.ChannelCondition;
import ch.ethz.ssh2.Connection;
import ch.ethz.ssh2.Session;
i ...
日志记录器(Logger)是日志处理的核心组件。log4j具有5种正常级别(Level)。日志记录器(Logger)的可用级别Level (不包括自定义级别 Level)， 以下内容就是摘自log4j API (http://jakarta.apache.org/log4j/docs/api/index.html):
static Level DEBUG
DEBUG Level指出细粒度信息事件对调试应用程序是非常有帮助的。
static Level INFO
INFO level表明 消息在粗粒度级别上突出强调应用程序的运行过程。
static Level WARN ...
直接使用zk的api实现业务功能比较繁琐。因为要处理session loss，session expire等异常，在发生这些异常后进行重连。又因为ZK的watcher是一次性的，如果要基于wather实现发布/订阅模式，还要自己包装一下，将一次性订阅包装成持久订阅。另外如果要使用抽象级别更高的功能，比如分布式锁，leader选举等，还要自己额外做很多事情。这里介绍下ZK的两个第三方客户端包装小工具，可以分别解决上述小问题。
一、 zkClient
zkClient主要做了两件事情。一件是在session loss和session expire时自动创建新的ZooK ...
1.简介
Proxy 提供用于创建动态代理类和实例的静态方法
（1）动态代理类的属性
代理类是公共的、最终的，而不是抽象的
未指定代理类的非限定名称。但是，以字符串 "$Proxy" 开头的类名空间应该为代理类保留
代理类扩展 java.lang.reflect.Proxy
代理类会按同一顺序准确地实现其创建时指定的接口
如果代理类实现了非公共接口，那么它将在与该接口相同的包中定义。否则，代理类的包也是未指定的。注意，包密封将不阻止代理类在运行时在特定包中的成功定义，也不会阻止相同类加载器和带有特定签名的包所定义的类
由于代理类将实现所有在其 ...
ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍ZooKeeper提供的Client API的使用，第三部分介绍一些ZooKeeper典型的应用场景。
ZooKeeper基本原理
1. 数据模型
zookeeper-tree，ZooKeeper数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节 ...
windows安装
安装目录：
D:\MongoDB\
新建目录
D:\MongoDB\data\db
4.启动进城：
cd D:\MongoDB\bin
mongod -dbpath D:\MongoDB\data\db
客户端执行命令
mongo 127.0.0.1
查看连接数情况
mongostat -h 127.0.0.1
成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。
输入help可以看到基本操作命令：
show dbs ...
HSQLDB一大特色就是能够在内存中建立数据库，当然它也能将这些内存数据库保存到文件中以便实现真正的持久化。
先睹为快！
下面是一个In-Process方式访问内存数据库的代码示例：
下面代码需要引入hsqldb.jar包 （hsqldb-2.2.8）
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.Stateme ...
1.首先需要在windows字体目录下或者其它地方找到simsun.ttf 这个 字体文件。
2.在ubuntu 下可以执行下面操作安装该字体：
sudo mkdir /usr/share/fonts/truetype/simsun
sudo cp simsun.ttf /usr/share/fonts/truetype/simsun
fc-cache -f -v
3.打开intelliJ idea ,按以下步骤设置，就可以解决中文乱码显示的问题了。
1）进入设置页。File–>Settings (快捷键：Ctrl+Alt+S)2)进入File Setting ...
第一、连接：telnet 127.0.0.1 11211 第二、按回车键 第三、flush_all 后回车 控制台显示OK，表示操作成功 说明： 1、清空所有键值 flush_all 注：flush并不会将items删除，只是将所有的items标记为expired，因此这时memcache依旧占用所有内存。 2、退出 quit
1. 环境描述
两个集群：rock 和 stone
rock无kerberos权限认证，stone有要求认证。
1. 从rock复制到stone，采用hdfs
Hadoop distcp -i hdfs://rock-nn:8020/user/cxz/input hdfs://stone-nn:8020/user/cxz/运行在rock端，即源端问题：报版本不对的问题（的确该如此）猜测：版本要是一致，也能正常运行
2. 从rock复制到stone，采用hftphadoop distcp -i hftp://rock-nn:50070/user/cxz/input hdfs ...