助力产业智慧升级,云服务器首年88元起,更有千元代金券礼包免费领!

搜搜吧

查看: 127|回复: 0

[数据库] sqoop导入数据脚本

[复制链接]
  • TA的每日心情
    奋斗
    2019-8-15 17:06
  • 签到天数: 77 天

    [LV.6]常住居民II

    超级VIP贵宾会员

    2022

    主题

    2102

    帖子

    6987

    积分

    Rank: 1

    UID
    21335
    威望
    -102
    贡献
    2397
    在线时间
    58 小时
    注册时间
    2018-12-6
    发表于 2019-7-22 14:06:54 | 显示全部楼层 |阅读模式
    推广者专属福利,新客户无门槛领取总价值高达2775元代金券,每种代金券限量500张,先到先得。
    sqoop export \        -D mapred.job.queue.name=hive_user \        --connect jdbc:mysql://${host}:${port}/${db} \        --username ${username} \        --password ${password} \        --table ${table_name} \        --export-dir ${hdfsdir}/dt=${dt}  \        --update-key STUDENT_ID \        --columns STUDENT_ID,STUDENT_NAME,ADDRESS,CREATE_DATETIME,UPDATE_DATETIME    \        --update-mode allowinsert \        -m 1 \        --verbose \        --fields-terminated-by '\t'

    以上脚本实现了从Hive中往MySQL对于一张学生信息表的更新。

    • 由于MySQL表里有自增列ID,而Hive中没有,所以需要在输入参数columns指定所有的列。
    • 由于MySQL表里有唯一键,所以在输入参数update-key指定更新键名称STUDENT_ID
    • Hive和MySQL列名类型和名称应当一致或者符合对应关系,比如Hive的timestamp对应datetime。
    • 更新模式使用--update-mode allowinsert。默认为onlyupdate

    楼主热帖排行榜
    搜搜吧社区温馨提示:
    搜搜吧(www.sosoba.org)十分重视网络版权及其他知识产权的保护,针对网络侵权采取如下版权政策:
    1、本站有理由相信网友侵犯任何人的版权或作品,(图文,文字,下载,视频,非法传播),本站有权不事先通知即删除涉嫌侵权的作品和内容
    2、本站将采取必要的网络技术手段,确认为侵权作品或内容的用户有权进行警告、屏蔽、删除的行为,尽可能的防止侵权行为的发生
    3、搜搜吧影视资源均收集自互联网,没有提供影片资源存储,也未参与录制上传,若本站收录的资源涉及您的版权或知识产权或其他利益,我们会立即删除
    4、搜搜吧,删帖,投诉,举报,侵权,若本站侵犯您的权益,附上身份及权利证明,请直接发送邮件到 kefu-sosoba@qq.com 我们将在一个工作日内删除
    soso搜搜吧社区是聚合百度搜索,搜狗搜索,360搜索,新闻,教育,站长,广告,娱乐,影视,微信,网盘,营销,手机,汽车,游戏,论坛综合为一体的大型门户社区www.sosoba.org
    关闭

    搜搜吧社区公告上一条 /1 下一条

    Powered by www.sosoba.org X3.4© 2013-2019 搜搜吧社区 小黑屋|手机版|Archiver|地图|关于我们|腾讯云代金券|帮助中心|soso吧社区
    广告服务/项目合作: kefu-sosoba@qq.com  侵权举报邮箱: kefu-sosoba@qq.com  搜搜吧建站时间:创建于2013年07月23日
    免责声明:本站所有的内容均来自互联网以及第三方作者自由发布,版权归原作者版权所有,搜搜吧不承担任何的法律责任,若有侵权请来信告知,我们立即删除!
    本站热搜:搜搜吧,搜搜,搜搜网,搜一下,搜吧,soso,sousou,快搜,soso搜搜,好搜,搜索,soso问问,搜搜问问,搜搜小说,搜搜图片,搜狗搜索,微信搜索,图片搜索,百度搜索,手机搜索,网盘搜索

    GMT+8, 2019-10-22 21:42 , Processed in 1.093750 second(s), 9 queries , Gzip On, MemCache On.

    快速回复 返回顶部 返回列表