`
liyonghui160com
  • 浏览: 761719 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

shell中执行hive语句

    博客分类:
  • hive
阅读更多

 

 

1.执行select查询

$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'

$HIVE_HOME/bin/hive -e "use mydb;select a.col from tab1 a where a.dt='2015-01-07';"

 

2.加入配置变量的查询

$HIVE_HOME/bin/hive -e 'select a.col from tab1 a' -hiveconf hive.exec.scratchdir=/home/my/hive_scratch  -hiveconf mapred.reduce.tasks=32

 

3.查询结果输出为文本

 $HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a' > a.txt

 

4.执行sql语句文件

 

$HIVE_HOME/bin/hive -f /home/my/hive-script.sql

 

 

#!/bin/bash  
#设置日志文件存放目录
cd /
cd /home/deploy/recsys/workspace
yesterday=$(date -d '-1 day' '+%Y-%m-%d')
$HIVE_HOME/bin/hive -e "use mydb;ALTER TABLE mytable ADD PARTITION (dt = '$yesterday') LOCATION '/user/hive/warehouse/tail/$yesterday/';"

#$HIVE_HOME/bin/hive -e "use mydb;select msec from mytable where dt='2015-01-07'"
 

供您思考的问题

 hive sql && mapreduce job 

第一个命令 然后跟个空格然后跟两个&& 然后跟第二个命令
第一个命令不正确执行完毕是不会执行第二个命令的。

不知道对不对?

 

 

分享到:
评论

相关推荐

    hivesql语句练习

    6. Jline包版本不一致的问题,需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar 启动hive bin/hive ---------------------...

    hive-shell批量命令执行脚本的实现方法

    今天小编就为大家分享一篇hive-shell批量命令执行脚本的实现方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

    批量导出hive表结构

    通过shell脚本,批量把一个库下面的表结构全部导出,在开发环境执行过。

    hadoop+hive+mapreduce的java例子

     Hive提供了jdbc驱动,使得我们可以用Java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。同关系型数据库一样,我们也需要将Hive的服务打开;在Hive 0.11.0版本之前,只有HiveServer服务可用,你得在...

    使用Python构造hive insert语句说明

    mysql可以使用nevicat导出insert语句用于数据构造,但是hive无法直接导出insert语句。我们可以先打印在hive命令行,然后使用脚本拼装成insert语句,进行数据构造。 手动copy到python脚本进行sql语句构造: def ...

    shell 调度的常用命令

    我们面向的平台是大数据平台,例如,hive 了解 shell 脚本 单个任务下,常见的几个问题 日期处理 路径问题 变量替换 如何记录任务的耗时 后台跑数据问题 日期处理 日期处理的场景 日期处理是关于如何获取日期以及...

    大数据学习笔记

    4.1 Spark Shell 13 4.2 RDD Transformations 13 4.3 Actions 16 4.4 用RDD编程 17 4.5 UN-Persist存储 18 第5章 Spark调度与高级编程 20 5.1 Spark应用程序例子 20 5.2 Spark-submit语法 22 5.3 Spark变量 23 5.4 ...

    LarkMidTable 一站式开源的数据中台.rar

    Hive 数据仓库 将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句语句转变成MapReduce任务来执行。 Kylin 分析数据库 Kylin 支持 SQL,Kylin 的 SQL on Hbase Kafka 消息中间件 应用解耦

    实验项目 MapReduce 编程

    实验内容 1. 启 动 全 分 布 模 式 Hadoop 集 群 , 守护进程 包 括 NameNode 、 DataNode 、 SecondaryNameNode、ResourceManager、NodeManager 和 JobHistoryServer。 ...Shell 常用命令。 。。

    大数据学习笔记.pdf

    4.1 Spark Shell ................................................................................................................ 13 4.2 RDD Transformations ...............................................

Global site tag (gtag.js) - Google Analytics