

永洪一站式大数据分析平台对接FusionInsight¶

适用场景¶

永洪一站式大数据分析平台 7.1 ↔ FusionInsight HD V100R002C60U20 (Hive/SparkSQL)

永洪一站式大数据分析平台 8.7 ↔ FusionInsight MRS 8.0 (Hive/Hetu)

说明：永洪BI本文使用windows部署模式，如果是使用Linux部署模式需要官方License，没有测试

yonghong配置¶

修改C:\soft\yonghongBI\Yonghong Desktop\YonghongBI\jetty\appbase\start.bat

set JAVA_OPTS=-Xmx15875m -Xms1024m -Djava.security.auth.login.config=C:/mrs_hetu_config/jaas.conf -Djava.security.krb5.conf=C:/mrs_hetu_config/krb5.conf -Dzookeeper.server.principal=zookeeper/hadoop.hadoop.com -Dzookeeper.request.timeout=120000 -Dzookeeper.sasl.clientconfig=Client -Dzookeeper.auth.type=kerberos --add-exports java.base/jdk.internal.ref=ALL-UNNAMED --add-opens java.base/jdk.internal.ref=ALL-UNNAMED --add-exports java.base/jdk.internal.ref=ALL-UNNAMED --add-opens java.base/jdk.internal.ref=ALL-UNNAMED

修改 C:\soft\yonghongBI\Yonghong Desktop\YonghongBI\jetty\start.ini配置文件

首先使用cmd登陆C:\soft\yonghongBI\Yonghong Desktop\YonghongBI\jetty路径

然后使用命令java -jar start.jar --add-to-start=jvm命令生成start.ini文件

然后配置start.ini文件，增加内容

-Xmx2000m
-Xmn512m
-Djava.security.krb5.conf=C:/mrs_hetu_config/krb5.conf
-Djava.security.auth.login.config=C:/mrs_hetu_config/jaas.conf
-Dzookeeper.server.principal=zookeeper/hadoop.hadoop.com
-Dsun.security.krb5.debug=false
-Dzookeeper.sasl.clientconfig=Client
-Dzookeeper.auth.type=kerberos

hive对接参数配置¶

20201027_101139_71

jdbc连接url为：

jdbc:hive2://node131:24002,node132:24002,node133:24002/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.hadoop.com@HADOOP.COM;user.principal=developuser;user.keytab=E:/ecotesting_mrs/Fiber/conf/user.keytab

如果是mrs 8.0版本，则需要的驱动jar包为客户端路径\Hive\jdbc下所有jar包加上如下额外三个jar包（如果缺少的话）

commons-lang-2.6.jar
zookeeper-jute-3.5.6-hw-ei-302002.jar
commons-collections-3.2.2.jar

连接测试：

20201027_101332_63

HIVE查询结果¶

20201027_101526_18

hetu对接参数配置¶

20201117_200817_56

注意： 1. 数据源选择FusionInsight HD默认是hive对接，需要更改 2. 高级属性要将AutoCommit勾选上 3. 在自定义中将hetu的驱动jar包presto-jdbc-316-hw-ei-302002.jar导入

jdbc连接url为：

jdbc:presto://172.16.10.131:24002,172.16.10.132:24002,172.16.10.133:24002/hive/default?serviceDiscoveryMode=zooKeeper&zooKeeperNamespace=hsbroker&deploymentMode=on_yarn&user=developuser&SSL=true&SSLTrustStorePath=C:/mrs_hetu_config/hetuserver.jks&KerberosConfigPath=C:/mrs_hetu_config/krb5.conf&KerberosPrincipal=developuser&KerberosKeytabPath=C:/mrs_hetu_config/user.keytab&KerberosRemoteServiceName=HTTP&KerberosServicePrincipalPattern=%24%7BSERVICE%7D%40%24%7BHOST%7D

测试:

20201117_195148_29

hetu查询结果¶

20201117_200744_53