geek-frio / trace_db Goto Github PK

目前无事务写入保障，会有如下问题

• BatchRequest 会有部分成功和部分失败的情况
• 客户端多次重试会导致重复结果落盘，查询结果得进行去重处理

1. RingQueue async_push 会阻塞tokio::select
2. 阻塞后又导致无法select transport ack的事件

增加本地调用的特性，服务在启动的时候会同时启动client和server的服务，对于自己调用自己的情况，是不需要走网络来进行的，这样就会受限于grpc stream的传输上限。

        let fsm = Box::new(TagFsm::new(r, None, engine));

        let state_cnt = Arc::new(AtomicUsize::new(0));
        let mailbox = BasicMailbox::new(s, fsm, state_cnt);

        let fsm = mailbox.take_fsm();
        if let Some(mut f) = fsm {
            f.set_mailbox(Cow::Borrowed(&mailbox));
            mailbox.release(f);
        }

现在的初始化方式是这样的，很难读懂这段代码到底在做什么事情。
（TagFsm和BatchSystem的实现是参考的tidb中的tikv的代码）

需要重新设计优化。

1. 设计滚动存储文件的接口
2. 设计搬运数据到对象存储的接口

1. Lazy static crate is expired, once cell crate is elegant.
2. Tantivy schema init schema code used unsafe, should remove it.

• 实现无配置文件，依赖环境变量启动。

针对时序型的数据提供创建不同类型schema的能力。

skdb::router::Router::send_msg 的异常控制有问题：
异常情况一：Mailbox send failed;
异常情况二：不存在对应的Mailbox;

外部在报错时都会统一进行重建Index的处理。

解决方案：
在出现问题的时候，可以尝试重建TagFsmEngine。
需要drop之前创建过的Tantivy Index和Writer 资源。

• Fix 未通过的单元测试Case
• SendMsg Error的情况重建TagFsmEngine

Problems:

1. Tracing Schema 是固定的格式，增加或者减少字段都需要改动代码
2. 需要提供一个机制能够动态变更tracing的表结构（新增或者减少字段）

需要确认RedisTTLSet在Cluster集群中多个机器同时注册机器grpc服务信息时是否有并发问题。

增加SQL查询能力

1. 考虑对接datafustion

1. 对于tracing的数据集，一天前的trace基本不会到达，需要close 对应打开的Index

不再使用多个Workspace的方式

1.完成segment接收后向Batch processor redirect逻辑。
2.segment request 完成, ack callback 向client端发送确认消息。

RemoteMsgPoller 下线不够平滑。

对应channel可能仍有数据，需要进行ack后再进行下线。

Testcase for BatchSystem write logic

cluster watcher 需要进行简单重构以适应单测的编写

• skdb server 启动,配置支持环境变量启动方式
• bug: "This happens because a function (like block_on) attempted to block the current thread while the thread is being used to drive asynchronous tasks.',"
• mock 1-> N 调用的情况
• #43

到目前为止，已经发现的问题:

• ctrl+c失效问题
• ClusterPassive 只能触发一次问题
• 无效时间segment数据问题
• RETRY计数失效问题
• SEQID未更新到segment meta
• TagFsm异常drop