发表于 | 分类于
字数统计 4,072字 | 阅读时长 ≈ 19分钟

今天遇到一个常见的依赖冲突问题，在一个 Spark 项目中，引用了多个其它项目的公共包【例如公共 elt 模块、算法模块】，在提交运行 Spark 任务时，由于依赖冲突而失败，高低版本无法兼容。

本文记录问题解决过程以及经验总结，重要开发环境说明：Spark v1.6、es-hadoop v5.6.8、kafka v0.9.x 。

阅读全文 »

发表于 | 分类于
字数统计 3,544字 | 阅读时长 ≈ 15分钟

在 2019 年 10 月 1 日的时候，我尝试使用海龟绘图绘制了一面五星红旗，参考我的另外一篇博文：使用海龟绘图绘制一面五星红旗 ，我觉得挺好玩的，还想进一步了解一下相关知识。后来，我又探索了一些绘图内容，发现可以绘制一些植物，例如树木、花草，核心就是要定义好绘制曲线。本文记录几个常见的植物：樱花树、火树银花、玫瑰花。

阅读全文 »

发表于 | 分类于
字数统计 975字 | 阅读时长 ≈ 4分钟

最近又重装电脑系统了，Windows 10，需要搞很多开发工具的初始化，整个流程操作下来感觉挺麻烦的，而且显得很混乱。因此，我整理这一份文档，把基础环境的安装过程记录下来，需要安装哪些工具、配置哪些参数，都一一列举，为以后的重装系统做指导，同时也给部分读者参考。

以后如果有新增内容会持续补充。

阅读全文 »

发表于 | 分类于
字数统计 2,081字 | 阅读时长 ≈ 10分钟

使用 phoenix 向 HBase 中导入数据，使用的是 phoenix 自带的脚本 psql.py，结果报错：

1
19/10/18 11:47:29 ERROR client.ConnectionManager$HConnectionImplementation: The node /hbase is not in ZooKeeper. It should have been written by the master. Check the value configured in 'zookeeper.znode.parent'. There could be a mismatch with the one configured in the master.

看起来是 ZooKeeper 环境有问题，本文记录解决过程。

本文开发环境基于 HBase v1.1.2、phoenix v4.2.0 。

阅读全文 »

发表于 | 分类于
字数统计 1,826字 | 阅读时长 ≈ 10分钟

在使用 SparkStreaming 程序处理数据，结果写入 HBase 时，遇到异常 NotServingRegionException，只是突然出现一次，平时正常，怀疑是和开发环境有关，本文记录查找问题的过程。本文中涉及的开发环境为 HBase v1.1.2。

阅读全文 »

发表于 | 分类于
字数统计 957字 | 阅读时长 ≈ 4分钟

在使用 Git 的时候，出现错误：

1
Unlink of file '.git/objects/pack/pack-xx.idx' failed. Should I try again? (y/n)

连续出现几十次，看起来像是 Git 在操作索引文件时被拒绝了，可能是文件权限问题，或者文件被占用。

本文内容中涉及的 Git 版本为：2.18.0.windows.1，操作系统为：Windows 7x64。

阅读全文 »

发表于 | 分类于
字数统计 1,053字 | 阅读时长 ≈ 4分钟

今天是国庆节，中国正在举行建国七十周年大阅兵，很多人都在观看，我在家里也看了直播片段。在刷微博的过程中，无意中看到有人在介绍 海龟绘图 这个 Python 库，可以非常方便地绘制各种图形，其中有人提到可以绘制出一面五星红旗。

后来我查了一下，的确是可以，难度不大，只要理解基本的绘制流程即可，于是我尝试了一下，并成功绘制出一面五星红旗。本文记录过程，开发环境基于 Python v3.8、Windows 10 x64。

阅读全文 »

发表于 | 分类于
字数统计 3,200字 | 阅读时长 ≈ 18分钟

背景说明：通过 dubbo 部署一个服务，服务中的业务逻辑会查询 HBase 表的数据，但是 dubbo 服务在初始化注册时，HBase 初始化的过程中会报错：

1
java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hbase.protobuf.ProtobufUtil

本文涉及的开发环境，基于 HBase v1.1.2、Zookeeper v3.4.6、dubbo v2.8.4、Hadoop v2.7.1。

阅读全文 »

发表于 | 分类于
字数统计 3,608字 | 阅读时长 ≈ 21分钟

在当前的业务中，需要连接 HBase 获取数据，但是最近在某一台节点上面的进程总是出现连接异常，类似下面：

1
2
3
2019-09-20_18:54:44 [http-nio-28956-exec-5] WARN zookeeper.ZKUtil:629: hconnection-0x8a9f6680x0, quorum=host1:2181,host10:2181,host11:2181,host61:2181,host62:2181, baseZNode=/hbase-unsecure Unable to get data of znode /hbase-unsecure/meta-region-server
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase-unsecure/meta-region-server
	at org.apache.zookeeper.KeeperException.create (KeeperException.java:99)

看起来是连接超时，然后重试，日志中持续了多次。本文开发环境基于 HBase v1.1.2、Zookeeper v3.4.6、Hadoop v2.7.1。

阅读全文 »

发表于 | 分类于
字数统计 1,103字 | 阅读时长 ≈ 4分钟

在 2019 年 9 月 21 日，我们几个小伙伴相约去广州鸡枕山登山徒步，给久坐的身体放松一下。 鸡枕山 位于广东省广州市从化区良口镇，海拔 1175 米，为广州市的第二高峰，仅次于天堂顶。另外有一点比较好的地方在于，鸡枕山虽然是广州第二高峰，但是它全程都被树木、竹林遮挡，基本不会被晒到，而且山路比较平缓，除了几处陡一点的路段，整体来说走起来非常舒适。

因此，这条线路非常适合没有登山经验的人，或者是平时缺少锻炼的人，或者体能差的人，这是一个比较好的入门路线。本文记录这次徒步的过程，给读者一个观察参考。

阅读全文 »
0%