烂笔头

本文记录大数据平台框架的一些常用参数，这些参数基本是我见过的或者实际使用过的，我会列出参数的含义以及使用效果，具有一定的参考意义。当然，根据实际的场景不同，参数值并不能随便设置为一样，必须要考虑到实际的情况，否则可能没有效果，或者具有反作用。

会保持更新。

最近因为协助升级相关业务的 sdk，遇到过多次 jar 包冲突的问题，此外自己在业务中升级算法接口的 sdk 时，也遇到过 jar 冲突问题。而且，这种冲突是灾难性的，不要指望通过排除特定包、升级版本、降级版本解决，根本无济于事，还会越来越混乱。

那么，最高效的方法是使用 maven-shade-plugin 插件，只要加上冲突相关的 relocation 配置，变更包名，即可迅速化解冲突的问题。

今天遇到一个常见的依赖冲突问题，在一个 Spark 项目中，引用了多个其它项目的公共包【例如公共 elt 模块、算法模块】，在提交运行 Spark 任务时，由于依赖冲突而失败，高低版本无法兼容。

本文记录问题解决过程以及经验总结，重要开发环境说明：Spark v1.6、es-hadoop v5.6.8、kafka v0.9.x 。

在 2019 年 10 月 1 日的时候，我尝试使用海龟绘图绘制了一面五星红旗，参考我的另外一篇博文：使用海龟绘图绘制一面五星红旗 ，我觉得挺好玩的，还想进一步了解一下相关知识。后来，我又探索了一些绘图内容，发现可以绘制一些植物，例如树木、花草，核心就是要定义好绘制曲线。本文记录几个常见的植物：樱花树、火树银花、玫瑰花。

最近又重装电脑系统了，Windows 10，需要搞很多开发工具的初始化，整个流程操作下来感觉挺麻烦的，而且显得很混乱。因此，我整理这一份文档，把基础环境的安装过程记录下来，需要安装哪些工具、配置哪些参数，都一一列举，为以后的重装系统做指导，同时也给部分读者参考。

以后如果有新增内容会持续补充。

使用 phoenix 向 HBase 中导入数据，使用的是 phoenix 自带的脚本 psql.py，结果报错：

1

19/10/18 11:47:29 ERROR client.ConnectionManager$HConnectionImplementation: The node /hbase is not in ZooKeeper. It should have been written by the master. Check the value configured in 'zookeeper.znode.parent'. There could be a mismatch with the one configured in the master.

看起来是 ZooKeeper 环境有问题，本文记录解决过程。

本文开发环境基于 HBase v1.1.2、phoenix v4.2.0 。

在使用 SparkStreaming 程序处理数据，结果写入 HBase 时，遇到异常 NotServingRegionException，只是突然出现一次，平时正常，怀疑是和开发环境有关，本文记录查找问题的过程。本文中涉及的开发环境为 HBase v1.1.2。

在使用 Git 的时候，出现错误：

1

Unlink of file '.git/objects/pack/pack-xx.idx' failed. Should I try again? (y/n)

连续出现几十次，看起来像是 Git 在操作索引文件时被拒绝了，可能是文件权限问题，或者文件被占用。

本文内容中涉及的 Git 版本为：2.18.0.windows.1，操作系统为：Windows 7x64。

今天是国庆节，中国正在举行建国七十周年大阅兵，很多人都在观看，我在家里也看了直播片段。在刷微博的过程中，无意中看到有人在介绍 海龟绘图 这个 Python 库，可以非常方便地绘制各种图形，其中有人提到可以绘制出一面五星红旗。

后来我查了一下，的确是可以，难度不大，只要理解基本的绘制流程即可，于是我尝试了一下，并成功绘制出一面五星红旗。本文记录过程，开发环境基于 Python v3.8、Windows 10 x64。

背景说明：通过 dubbo 部署一个服务，服务中的业务逻辑会查询 HBase 表的数据，但是 dubbo 服务在初始化注册时，HBase 初始化的过程中会报错：

1

java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hbase.protobuf.ProtobufUtil

本文涉及的开发环境，基于 HBase v1.1.2、Zookeeper v3.4.6、dubbo v2.8.4、Hadoop v2.7.1。