kaimingwan / hexo-blog-comment Goto Github PK

https://kaimingwan.com/2022/05/19/tq5v94/

Data pipeline 背景：国内做现代化数据集成工具比较早的玩家，16 年成立 商业化运作：不做社区，销售驱动专门做商业产品。有试用版，需销售联系。 产品：产品体系上主要三方面 数据融合 数据服务 数据异常监控、对账 主打概念：实时 ETL

https://kaimingwan.com/2022/06/07/mto7w6/

介绍

http://47.111.104.125/2022/05/01/do47a5/

Fivetran:ETL 到 ELT+E 的转变Extract->Transform->Load 是过去数据整合分析常用的套路，而且 ETL 主要是在涉及数仓的时候才被提及的话题。这里的 Transform 主要指的是定义数据模型、按照定义的数据模型和数据清理标准在正式写入到对端数仓的时候进行转换。Fivetran 将 Transformation 交给对端在他们视角主要考虑的核心点是

https://kaimingwan.com/2022/05/19/psgus3/

成功案例

https://kaimingwan.com/2022/05/21/gw1q3y/

前言

https://kaimingwan.com/2022/05/03/nb82pg/

前言 学会看字节码指令有助于理解 JVM 底层代码执行逻辑。本文做一些核心知识的小记方便自己查看。

https://kaimingwan.com/2022/06/14/ye5v40/

标识符大小写敏感的理解 很多时候我们讨论大小写敏感这个概念时，其实并没有确认讨论的维度。错误的讨论维度可能使得在处理和排查一些问题时处处碰壁。在讨论大小写敏感问题时，我们存在两个讨论维度：

https://kaimingwan.com/2022/07/15/opm2vx/

背景 数据迁移同步领域，做热点合并可以大大提升效率。本文对实现写入 SQL 热点合并中的细节做一些记录和备忘。

https://kaimingwan.com/2021/07/14/geoudy/

环境安装 执行rustup上的脚本即可自动完成安装

https://kaimingwan.com/2022/06/07/tq5ucr/

问题背景 最近开发一个新的系统，web 这一块使用 thymeleaf 遇到了一些资源加载相关的问题。

https://kaimingwan.com/2022/06/08/pcqf5r/

前言 MySQL 对行长默认有一个限制，不能超过 65535。这个在异构数据源的表结构迁移的过程中比较容易遇到这种报错。

https://kaimingwan.com/2022/05/19/nb82pg/

前言 学会看字节码指令有助于理解 JVM 底层代码执行逻辑。本文做一些核心知识的小记方便自己查看。

http://47.111.104.125/2022/05/01/falb31/

读书笔记说明effective java 是按照这种条目来罗列知识点的。本读书笔记不对每条知识点做详细解释（甚至某些是没解释的）。本系列读书笔记只记录一些我认为有必要记录的重点。 第 2 章 创建和销毁对象用静态工厂方法代替构造器优点： 有名称方便理解 对象可以复用 方便返回任何子类型对象 创建参数化类型实例时简化代码 使用 builder 来创建很多参数的对象这个感觉可以依靠 spring

https://kaimingwan.com/2022/08/19/tsu1mm/

书籍介绍 看过不少解释，强力与弱力 这本书讲的是最好的，比较生动也好理解。

https://kaimingwan.com/2022/05/19/do47a5/

Fivetran: ETL 到 ELT+E 的转变

https://kaimingwan.com/2022/06/06/mto7w6/

介绍

https://kaimingwan.com/2022/07/22/xs0ybs/

各版本 http 主要特点总结 版本特点总结

https://kaimingwan.com/2022/05/19/ygl6w9/

创业

https://kaimingwan.com/2022/06/07/xs7i80/

前言 java 发展了几十年，一直是编程语言当中的主流语言。这与其本身的很多优秀特质是分不开的，例如：

https://kaimingwan.com/2022/08/19/miu31v/

什么是 RAII RAII 全称为 resource acquisition is initialization，即资源获取即初始化。RAII 指的是在构造函数里申请资源，在析构函数中释放资源。RAII 的工作最早是交给程序员做的，很容易因为没有及时释放使用好的资源导致资源泄露。

https://kaimingwan.com/2022/08/17/tcz962/

协变(covariant)、逆变(contravariant)与不变 这个概念一般是编程语言中类型系统(尤其是泛型)中的概念，主要用来描述父子类型在使用中是否允许替换。

http://47.111.104.125/2022/05/01/psgus3/

成功案例 思考： 国内外风投忍耐程度不同 关注开源到销售之间是如何度过的，开始销售之前是否全力做开源？ 开源商业化一般路径 思考： 关注商业模式的转化： 产品形态是是服务、on-prem、cloud-managed，还是 cloud-hosted service 商业化版本和开源版本功能差异 产品厚度问题 如何打造销售团队 参考资料 开源商业化是“一夜成名”的爆发？答案都在这篇干货贴里

http://47.111.104.125/tags/

https://kaimingwan.com/2022/08/18/bx6ngt/

非线性思维：理解世界是非线性、跳跃发展、不可精确预测的。理解引起质变的核心原因、放弃短期利益，在关键的非线性点做正确的事 黄金圈思维：why->how->what 10+10+10 旁观思维：决策时考虑 10 分钟后、10 个月后、10 年后如何看自己的决策 复利思维：也可以说是滚雪球效应，在正确的事情上不断累积，不断正反馈，最终的结果是变化非常大的。核心是长期坚持。比如持续每天 2

https://kaimingwan.com/2022/05/19/la63fp/

前言 现在很多数据库内核引擎都使用向量化的技术来优化性能。例如 StarRocks 基于 avx2 指令做向量优化后，很多算子性能都得到了巨大的提升。

http://47.111.104.125/about/

现居杭州 爱好音乐 专注数据集成领域 Java技术栈 对数据库、数据中间件均有一定研究 2019从大厂出来创业 创业项目 https://www.clougence.com 有兴趣交朋友的可以添加我微信

https://kaimingwan.com/2022/06/06/vwegfk/

第 1 篇 导言 关于为什么学习经济学，觉得挺有道理：

https://kaimingwan.com/2022/06/08/ygl6w9/

创业

https://kaimingwan.com/2022/05/27/do47a5/

Fivetran: ETL 到 ELT+E 的转变

https://kaimingwan.com/2022/05/26/vh1syc/

消息膨胀 消息对象膨胀率

https://kaimingwan.com/2022/06/20/ns4y3a/

理解连接属性 serverTimezone/connectionTimezone 在 java 中使用 mysql client 创建 JDBC 连接时可以指定以上两个连接参数。两者的功能是一致的，所以后面统一就用 serverTimezone 为例说明。官方文档描述如下所述。这个参数主要是告诉 jdbc，数据库处理 timestamp 是按照什么时区处理的。jdbc 第一次从数据库读取到的原始的

https://kaimingwan.com/2022/05/24/qb4lpz/

前言 这本书其实是 15 年看的了，有些知识过于陈旧。这边基于以前的读书笔记把最精炼的内容重新按照现在的理解总结下

https://kaimingwan.com/2022/06/08/qwzpa6/

前言 最早用 bitcron 来管理发布博客，由于工作忙碌，博客疏于管理。近期发现 bitcron 也后续可能不维护了，还是自己迁移到云服务器上自己管理了。以下内容小做总结，仅供自己记录，不是一步一步的详细步骤。

https://kaimingwan.com/2022/05/21/mitnp1/

前言 类似 java 可以使用 sdkman 管理多版本，golang 可以用 gvm

http://47.111.104.125/2022/05/01/dlokg1/

前言今天工作中与同事就 classLoader 获取方式的性能差异展开了争论。 问题概括为：在一个频繁被调用的方法中，通过本地 static 变量获取 classLoader 和通过.class.getClassLoader 到底哪种方式更加性能优越，开销更少？ 测试环境 环境项 环境信息 操作系统 macOS Catalina 10.15.4 处理器 2.4 GHz 八核 Inte

https://kaimingwan.com/2022/06/27/gsavq2/

背景 现在国内外有很多厂商专注于构建现代化的数据集成工具，提炼现代数据集成工具的内核核心能力对于设计这类工具会具有一些启示作用。

https://kaimingwan.com/2022/05/19/mzakal/

前言 因为创业也在做国内数据集成领域的工作。数据集成领域的行业发展和数据库行业发展息息相关。本文主要参考了一些数据库行业报告，做一些总结和思考。核心参考资料放在文末，可自行参考。

https://kaimingwan.com/2022/06/06/xs7i80/

前言 java 发展了几十年，一直是编程语言当中的主流语言。这与其本身的很多优秀特质是分不开的，例如：

https://kaimingwan.com/2022/08/19/gb39tx/

基本定义 C++的设计和实现者是这样定义的：

https://kaimingwan.com/2022/06/06/gm7u87/

前言 现在 AI 编程比较火，安装体验下

https://kaimingwan.com/2022/06/06/falb31/

读书笔记说明 effective java 是按照这种条目来罗列知识点的。本读书笔记不对每条知识点做详细解释（甚至某些是没解释的）。本系列读书笔记只记录一些我认为有必要记录的重点。

http://47.111.104.125/2022/05/01/gw1q3y/

前言IDEA 默认的代码格式化可读性不是最好，使用 Google Java Style 格式化代码增加可读性。 设置方式 从github 仓库下载或者复制 xml 到本地 在 IDEA 设置中配置和应用

http://47.111.104.125/categories/

https://kaimingwan.com/2022/08/20/bang5q/

什么是元编程 wiki 百科定义如下：

https://kaimingwan.com/2022/06/07/ccmi7h/

介绍 StarRocks 是现在比较流行的 MPP 数据库，在数据分析场景中非常有优势。

https://kaimingwan.com/2022/06/06/yqmupu/

SSTABLE sstable 是 google bigtable 中引出的数据结构，在 levelDB、RocksDB 以及现在各类数据库存储中配合 LSM 有广泛应用，学习下很有必要，本位以 RocksDB 中 SST 的实现来了解 SST。

http://47.111.104.125/2022/05/01/mae9ap/

ScheduleService/ScheduledThreadPoolExecutor 没有 try-catch 导致定时任务不执行现象定时执行的任务如果没有对执行逻辑 try-catch,后续所有定时任务都会取消，并且线程卡在 AQS 等待唤醒 123456789101112"starrocks-full-timeout-flush-trigger-6-thd-0"

https://kaimingwan.com/2022/05/24/mae9ap/

ScheduleService/ScheduledThreadPoolExecutor 没有 try-catch 导致定时任务不执行 现象

https://kaimingwan.com/2022/07/04/yose41/

背景 开发平台类的管控程序时，我们常常会遇到以下的一些问题：

https://kaimingwan.com/2022/05/19/oxhmzs/

背景 一次客户现场发生 binlog event 的 checksum 的解析异常。