李昕垚的博客

hive的曲线救国

本来是想用R直接连接hive,达到将hive的数据导入R进一步分析的目的。无奈本人是小白,有跳板机这个东西捣鼓半天还没搞定。无奈之下选择曲线救国,集群跑数保存为txt,然后用R的data.table将其打开。

通过跳板机登录hadoop客户机

1
2
3
ssh lixinyao9891@10.25.2.6 # 登录跳板机
ssh lixinyao9891@10.25.248.36 # 登录hadoop客户机
su - lixinyao9891 # 切换到个人账户

hive跑数并保存为txt

1
2
3
mkdir lixinyao # 新建文件夹
vim user_feature20170930.sql # 新建sql文件
hive –f user_feature20170930.sql >lixinyao.txt # 执行sql并将结果保存为txt

将远程txt复制到本地

因为有跳板机的存在,无法直接使用scp,所以通过rz、sz的方式来下载文件

1
2
3
4
5
6
7
8
# 官网先下载iterm2
# 下载安装lrzsz
brew install lrzsz
# 下载安装iterm2-zmodem
cd /usr/local/bin
sudo wget https://raw.github.com/mmastrac/iterm2-zmodem/master/iterm2-send-zmodem.sh
sudo wget https://raw.github.com/mmastrac/iterm2-zmodem/master/iterm2-recv-zmodem.sh
sudo chmod 777 /usr/local/bin/iterm2-*

打开Item2,点击preferences -> profiles,选择某个profile,如Default,之后继续选择advanced -> triggers,添加编辑添加如下triggers:

Regular Expression Action Parameters
rz waiting to receive.**B0100 Run Silent Coprocess /usr/local/bin/iterm2-send-zmodem.sh
**B00000000000000 Run Silent Coprocess /usr/local/bin/iterm2-recv-zmodem.sh

将远程文件传入本地

1
sz a.txt
请李昕垚吃个糖?