今天为大家带来的是好程序员大数据视频教程之—数据同步工具sqoop课程。还是老规矩：全套视频+源码+安装软件+课件（笔记）。喜欢的小伙伴欢迎下载，感觉不错的话，可以在文末点个再看。

    Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

    Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够快速的迭代开发，Sqoop独立成为一个Apache项目。

    sqoop工作机制

    将导入或导出命令翻译成 MapReduce 程序来实现 在翻译出的 MapReduce 中主要是对 InputFormat 和 OutputFormat 进行定制。

    sqoop核心功能

    sqoop核心的功能有两个：

    （1）导入、迁入

    导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统

    （2）导出、迁出

    导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论。

1

    04课程简介

    好程序员sqoop课程介绍

    1、课程简介：

    本课程涵盖sqoop的概念、数据导入(import)、数据导出(export)、增量数据同步、多种增量同步方案、增量新导出、sqoop的job定义、sqoop的job操作等知识点。该课程覆盖范围广，同时该课程是数据同步技术中一套亮眼课程，你值得拥有。

    2、课程价值：

    学完完全掌握数据增量同步技术、掌握插入新导出、掌握导入数据为parquet格式、掌握parquet格式数据导出到关系型数据库等。

    3、适用人群：

    适用于大数据从业者、数仓从业者、ETL从业者和对大数据技术感兴趣的初学人员等等。

    4、课程亮点：

    增量同步方案、同步为parquet格式、增量新导出、parquet格式数据导出、sqoop优化、sqoop并发等

    好程序员大数据-sqoop课程学习路线图

    01 同步工具来源

    02 sqoop的定义

    03 sqoop的安装

    04 sqoop列出库和表

    05 sqoop导入数据到hdfs目录

    06 sqoop的导入指定列指定分隔符指定空值处理

    07 sqoop导入指定文件格式和压缩

    08 sqoop的导出及注意事项

    09 sqoop之导入数据到hive中

    10 sqoop之导入数据到hive的分区表中

    11 sqoop的job相关命令和免密

    12 sqoop之新并插入导出到mysql中

    13 sqoop之导出parquet格式数据到mysql中

    14 sqoop之使用脚本进行定时任务

    15 回顾

    16 作业

    17 sqoop的自增场景描述

    18 sqoop增量之query where语句

    19 sqoop增量之append语句

    20 sqoop增量之lastmodified语句

    21 sqoop的优化

    领取方法：

    关注本公众号：好程序员，回复“DT8”获取“好程序员大数据系列教程之sqoop”，全套视频+源码+安装软件+课件（笔记）