ETL之apache hop系列2-hop web安装和入门
阅读原文时间:2023年08月26日阅读:1

前言

在Docker安装apache hop 首先确保Docker已经安装和运行Java 11 JDK

安装文档参考:https://blog.csdn.net/Chia_Hung_Yeh/article/details/121060990

一、使用Docker 安装部署

推荐使用下面的web版本

docker pull apache/hop:latest


docker pull apache/hop-web:latest

a、简单部署(不使用用户名密码)

docker run -p 8080:8080 apache/hop-web:latest

b、使用用户名密码和相关数据库配置的部署

docker文件映射参考:

docker run -it  -p 24001:8080 \
-v /home/hop-web/config:/config/ \
-v /home/hop-web/plugins:/usr/local/tomcat/plugins/ \
-v /home/hop-web/lib:/usr/local/tomcat/lib/ \
apache/hop-web:latest

c、实际部署(使用用户名和密码已经同步数据库)

参考:

https://hop.apache.org/manual/latest/installation-configuration.html

https://hop.apache.org/manual/latest/hop-gui/hop-web.html(主要)

https://hop.apache.org/manual/latest/database/databases/mysql.html(主要)

https://blog.csdn.net/qq_51322266/article/details/125408967

1)在根目录home文件夹下hop-web增加配置文件,配置参考153Linux服务器上的配置

2)运行下面的docker 命令

在home/hop-web文件夹下创建config、logs、plugins三个文件夹(推荐这种)

docker run -it  -p 24001:8080 \
-v /home/hop-web/config:/config/ \
-v /home/hop-web/logs:/usr/local/tomcat/logs/ \
-v /home/hop-web/plugins/databases/mysql/lib:/usr/local/tomcat/plugins/databases/mysql/lib/ \
-v /home/hop-web/plugins/databases/mssql/lib:/usr/local/tomcat/plugins/databases/mssql/lib/ \
-v /home/hop-web/plugins/databases/oracle/lib:/usr/local/tomcat/plugins/databases/oracle/lib/ \
apache/hop-web:latest

部署成功后,浏览器打开如:http://192.168.1.153:24001/ui地址填写用户名密码登录

当然可以先创建一个简单部署的临时容器

a、把容器里的文件复制到宿主机上

docker cp c728f91ee95d:/usr/local/tomcat/webapps /home/hop

b、删除该临时容器

docker stop c728f91ee95d
docker rm c728f91ee95d

c、创建一个新的容器并挂载宿主机文件

docker run -it  -p 24001:8080 \
-v /home/hop-web/config:/config/ \
-v /home/hop-web/logs:/usr/local/tomcat/logs/ \
-v /home/hop-web/webapps:/usr/local/tomcat/webapps/ \
-v /home/hop-web/plugins/databases/mysql/lib:/usr/local/tomcat/plugins/databases/mysql/lib/ \
-v /home/hop-web/plugins/databases/mssql/lib:/usr/local/tomcat/plugins/databases/mssql/lib/ \
-v /home/hop-web/plugins/databases/oracle/lib:/usr/local/tomcat/plugins/databases/oracle/lib/ \
apache/hop-web:latest

官方文档:Hop Web :: Apache Hop

二、使用apache/hop-web

参考文章:

https://www.modb.pro/db/623848

https://blog.csdn.net/ym5209999/article/details/126009271

官网文档:Projects & Environments :: Apache Hop

1)点击顶部菜单栏的P+按钮,弹出新增项目对话框界面

2)填写对应的项目名称和保存路径等,然后点击OK保存项目,项目路径一般保存在projects文件夹下和default文件夹同级,如下图第二张

1)点击左上角“+”号,选择“Relational Database Connection”进入数据库连接界面

2)参照下图输入数据库连接相关信息

3)测试连接及保存当前数据库连接,X按钮会提示保存该数据库连接点击保存

4)保存完成后,在左侧“Relational Database Connection”中,会出现新建的数据库连接信息

官网文档:Pipelines :: Apache Hop

管道控件使用说明文档:Transform Plugins :: Apache Hop

1)选择上面创建的项目名称,点击左上角“+”号,选择“Pipeline”进入新增管道界面

2)在页面空白处点击鼠标左键,弹出对话框选择对应的控件,点击确定

3)在鼠标左键点击控件下方的文字,弹出对话框,在对话框中填写对应的内容,点击保存

4)同步骤2,创建一个新的控件(比如Insert/update),鼠标左键点击前面创建的控件图标,在弹出的对话框中选择Create hop箭头图标,然后再鼠标左键连接后面创建的控件

5)同步骤3,点击后面创建的控件,弹出对话框,在对话框中填写对应的内容,点击保存

6)保存管道文件,保存的文件最好是在该项目文件所在文件路径的子级

7)打开管道文件

8)运行管道文件

官方文档:Untitled :: Apache Hop

工作流控件使用说明文档:Untitled :: Apache Hop

1)选择上面创建的项目名称,点击左上角“+”号,选择“Workflow”进入新增管道界面

2)在页面空白处点击鼠标左键,弹出对话框选择Pipelin控件,点击确定

3)鼠标左键点击Pipelin控件下方的文字,在弹出框点击"Browse…"浏览选择管道文件,点击OK

4)同步骤2,选择Success控件

5)控件连接,鼠标左键点击前面创建的控件图标,在弹出的对话框中选择Create hop箭头图标,然后再鼠标左键连接后面创建的控件

6)保存工作流文件

7)运行工作流文件