Hue集成MySQL1.添加MySQL方言进入hue根目录，添加到Hue Python虚拟环境中 1./build/env/bin/pip install mysqlclient 2.修改hue.ini需要把mysql的注释去掉，大概在1821行。 123456789101112131415161718192021222324[notebook][[interpreters]][[[mysql]]]name = MySQLinterface=sqlalchemyoptions='{"url": "mysql://root:123456@192.168.0.219:3306/"}'[[[hive]]]name=Hiveinterface=hiveserver2[[databases]][[[mysql]]]nice_name="My SQL DB"engine=mysqlhost=192.168.0.219port=3306user=rootpassword=123456 2.重启 ...

Hue集成Hive1.时间同步安装ntp 1yum -y install ntp 与上海电信服务器同步时间 1ntpdate api.ntp.bz 2.修改hive-site.xml进入hive的conf目录下 1cd /home/software/apache-hive-3.1.2-bin/conf 增加hive-site.xml配置 1234567891011121314151617<!-- hiveserver2运行绑定host --><property> <name>hive.server2.thrift.bind.host</name> <value>192.168.0.219</value></property><!-- hiveserver2运行绑定端口 --><property> <name>hive.server2.thrift.port</name> <value>11240</valu ...

云服务器安装Hue1.源码下载Hue官网并没有提供二进制安装包，我们需要自行编译。源码文件下载地址https://github.com/cloudera/hue/releases 1.上传解压这里我解压到/home/software/sourceSoftware/目录下 1tar -zxvf hue-release-4.7.1.tar.gz -C /home/software/sourceSoftware/ 2.安装依赖包在编译之前必须安装各种依赖软件。 1yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel rsync openssl-devel 3.源码编译进 ...

Hbase问题解决报错：关闭HBase时无法找到Master：no hbase master found 原因 此时可以大体确定报错原因，系统找不到HBase的pid文件，pid文件里面是HBase的进程号，找不到进程号系统就没有办法去结束这个进程。 HBase的pid文件默认存放路径为 /tmp 路径，可以进去看一下有没有和HBase相关的文件。肯定没有，因为很有可能被操作系统删掉了。 解决方案 修改pid文件存放路径， 进入 hbase 的 conf 目录，找到 hbase-env.sh 进行修改 1export HBASE_PID_DIR=/home/software/hbase-2.3.6/pids 之后重新启动即可。

云服务器伪分布式部署HBase1.解压tar包这里我解压到/home/software/目录下 1tar -zxvf hbase-2.3.6-bin.tar.gz -C /home/software/ 2.配置conf2.1 hbase-env.sh进入conf目录，在hbase-env.sh文件中添加如下，这里我不用HBase自带的Zookeeper，下面HBASE_MANAGES_ZK设置为fales，使用独立配置的Zookeeper。 12export JAVA_HOME=/home/software/jdk1.8.0_202export HBASE_MANAGES_ZK=false 2.2 hbase-env.sh在hbase-site.xml文件中添加如下 1234567891011121314151617181920<property> <name>hbase.cluster.distributed</name> <value>true</value> </p ...

云服务器安装Azkaban1.源码编译Azkaban官方并没有提供二进制安装包，需要我们自行编译。源码文件下载 1.1编译环境编译之前需要提前安装好Maven，Ant，Node等软件，还有git和gcc-c++环境。 1yum install -y git 1yum install -y gcc-c++ 1.1下载源码解压这里我解压到/home/software/目录下 1tar -zxvf azkaban-4.0.0.tar.gz -C /home/software/ 1.2源码文件编辑在编译之前对文件进行修改，避免编译过程出现问题。 1.2.1修改build.gradle文件1vim build.gradle 123456789101112131415161718192021repositories { mavenCentral() maven { url 'https://maven.aliyun.com/repository/central' } mav ...

云服务器安装Hive1.下载Hive(下载地址)2.上传至服务器并解压这里我解压到/home/software/目录下 1tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /home/software/ 3.添加MySQL驱动包，拷贝到Hive的安装目录的依赖库目录下1cp mysql-connector-java-5.1.46-bin.jar /home/software/apache-hive-3.1.2-bin/lib/ 4.添加环境变量1vim /etc/profile 添加如下 12export HIVE_HOME=/home/software/apache-hive-3.1.2-binexport PATH=$PATH:/$HIVE_HOME/bin 使环境变量立即生效 1source /etc/profile 4.修改配置文件4.1 配置hive-env.sh文件进入hive下的conf目录 1cd /home/software/apache-hive-3.1.2-bin/conf/ 拷贝hi ...

CentOS7—ZooKeeper伪分布式安装部署1. 下载ZooKeeper安装包：下载地址注意，随着版本的更新，3.5版本以后的压缩包分成了两种带bin的压缩包是真正的标准压缩包而不带bin的压缩包是源码压缩包我们需要使用文件名带有bin 的那个压缩包，例如：apache-zookeeper-3.6.3-bin.tar.gz 这样解压后才会有lib目录下的那些jar包。 2. 解压安装包这里我解压到/home/software目录下 1tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz -C /home/software/ 3. 复制oo_example.cfg文件并改名进入解压后的路径zookeeper-3.4.10/conf路径下，复制zoo_example.cfg配置文件，因为是伪分布式安装，一台机器上有3个zookeeper进程，所以这里复制3份。 123cp zoo_example.cfg zoo1.cfgcp zoo_example.cfg zoo2.cfgcp zoo_example.cfg zo ...

10. Kafka 关键原理加强10.1 日志分段切分条件日志分段文件切分包含以下4个条件，满足其一即可： (1) 当前日志分段文件的大小超过了broker端参数log.segment.bytes配置的值。log.segment.bytes参数的默认值为1073741824，即1GB(2) 当前日志分段中消息的最小时间戳与当前系统的时间戳的差值大于log.roll.ms或++log.roll.hours++参数配置的值。如果同时配置了log.roll.ms和log.roll.hours参数，那么log.roll.ms的优先级高。默认情况下，只配置了log.roll.hours参数，其值为168，即7天。(3) 偏移量索引文件或时间戳索引文件的大小达到broker端参数log.index.size.max.bytes配置的值。log.index.size.max.bytes的默认值为10485760，即10MB(4) 追加的消息的偏移量与当前日志分段的起始偏移量之间的差值大于Integer.MAX_VALUE，即要追加的消息的偏移量不能转变为相对偏移量(offset - baseOffs ...