String myBC_DB_URL = "mybc:hive2://my-test-001:10000/default;" + "principal=" + loginUserPrinc + ";kerberosAuthType=kerberos;hive.server2.proxy.user=" + proxtUser; Connection con = DriverManager.getConnection(myBC_DB_URL); final HiveStatement stmt = (HiveStatement) con.createStatement(); String tableName = "test_count"; final String sql = "select count(*) from " + tableName; LOGGER.info("Running: " + sql); final CountDownLatch latch = new CountDownLatch(1); Thread t = new Thread(new Runnable() { @Override public void run() { try { long start = System.currentTimeMillis(); ResultSet res = stmt.executeQuery(sql); while (res.next()) { StringBuffer sb = new StringBuffer(); for (int i = 0; i < res.getMetaData().getColumnCount(); i++) { sb.append(res.getString(i + 1)).append("\t"); } LOGGER.info(sb); } if (res.next()) { LOGGER.info(res.getString(1)); } long end = System.currentTimeMillis(); LOGGER.info("query-" + Thread.currentThread().getId() + ":" + (end - start)); } catch (Exception e) { e.printStackTrace(); } finally { latch.countDown(); } } }); t.start(); while (latch.getCount() != 0) { List<String> logs = stmt.getQueryLog(); for (String log : logs) { /* if(log.contains("The url to track the job")||log.contains("Tracking URL =")||log.contains("Kill Command =")){ //not print }else{ LOGGER.info(log); }*/ if(log.contains(" Stage-")){ LOGGER.info(log); }else{ } } try { Thread.sleep(1000); } catch (InterruptedException e) { e.printStackTrace(); } }
相关推荐
ive环境规划 •Hive安装路径 •/home/test/Desktop/ •Hive数据存放路径 •hdfs •/user/hive/warehouse •Hive元数据 •第三方数据库 •derby mysql
本资源适合hive使用log4j2作为日志去开启metastore审计日志,那么本文章就值得(不管是hive2还是hive3)
Hive优化以及执行原理,一位前辈总结的hive知识,个人觉得非常有用,资源难找,现在贡献给大家,独乐乐不如众乐乐。
针对传统分布式模型在海量日志并行处理时的可扩展性和并行程序编写困难的问题, 提出了基于Hive的Web海量搜索日志分析机制。利用HQL语言以及Hadoop分布式文件系统(HDFS)和MapReduce编程模式对海量搜索日志进行分析...
hive执行计划可视化工具
windows平台下,hive可执行文件,完全没有问题,可以使用。 将这个bin目录覆盖hive原有的bin目录即可
hive调优总结,网络上分享的hive常见优化细节,这是一个前辈的总结,个人觉得,总结得相当到位和详细
这是我的一份课程作业,需要事先下载搜狗日志文件。有问题,可以问百度。里面也参考了其他博客主的文章,在最后有相关链接。
hive日志系统实战
hiveSQL执行文件
该实验数据主要用于Hive进行Apache Web日志的统计分析学习使用,数据量不是大。
一种基于Hive日志分析的大数据存储优化方法,王正也,李书芳,从2002年起,某金融机构积累了大量的银行卡支付日志数据。随着业务的不断增长,数据集高速增长,原生的Hive的查询性能已经不能令人�
基于Hadoop/Hive的web日志分析系统的设计,为广大大数据爱好者提供更好的帮助,喜欢可以下载
windows10下安装hive2.3.3的时候,无法执行hive命令,原因是官方下载文件中缺少可执行文件(好多个cmd文件),安装的时候无法执行成功。下载后,解压替换hive的bin目录即可执行成功。
可以从hive元数据生成建表语句的资源。包括表结构、分区等信息
windows下hive可执行文件,下载解压后替换hive安装目录 下的bin目录即可
主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 Web...
hive hive hive hive hive hive hive hive hive hive hive hive