yint-tech / sekiro-open Goto Github PK

SEKIRO is a multi-language, distributed, network topology-independent service publishing platform. By writing handlers in their respective languages, functionalities can be published to the central API marketplace. Business systems utilize the capabilities of remote nodes through RPC.

Home Page: https://sekiro.iinti.cn/sekiro-doc/

Java 99.69% Shell 0.31%

sekiro-open's Introduction

Sekiro English

SEKIRO是一个多语言的、分布式、网络拓扑无关的服务发布平台，通过书写各自语言的handler将功能发布到中心API市场，业务系统通过RPC的方式使用远端节点的能力。

更多介绍，请参考详细文档： http://sekiro.iinti.cn/sekiro-doc/

各语言样例代码： https://github.com/yint-tech/sekiro-samples

安装包下载：iinti sekiro-demo https://oss.iinti.cn/sekiro/sekiro-demo

Sekiro是一个RPC框架

sekiro主要支持多节点的程序调用，所以他归属于RPC（Remote Procedure Call）框架：API管理、鉴权、分布式、负载均衡、跨语言

Sekiro不是常规意义的RPC框架

通常情况下，在后端微服务下RPC框架主要用于拆分复杂业务模块，以及多节点集群提升单机性能瓶颈的能力。他们一般是单个机房下业务机器组，调用其他业务机器组。 Dubbo、springCloud、grpc便是目前市面上具有代表性的RPC解决方案，并且他们都是世界顶级的项目。然而Sekiro并不是解决这种常规RPC能力场景的方案。

Sekiro主要提供的功能是：受限上下文环境下的功能外放，服务提供者（provider）运行在一个受限环境中，导致这个服务不能作为一个普通的算法方便的转移到内部服务，而此时我们的业务又希望可以使用这种受限环境下的功能。

一个加密算法，运行在客户端程序中，服务需要使用它但是没有完成这个算法的破译，可以通过sekiro注入代码到这个客户端，然后发布算法的API
一份数据，由于权限限制，仅允许在机构内网使用（机构来源ip检查），但是我们希望在外部服务调用。可以在机构内网书写sekiro客户端，实现API发布
app（或者终端）程序，存在给C端客人使用的能力，但是我们希望在B端业务能够使用这个能力，那么通过Sekiro连接他，B端参数转发到app中，使用app代理调用能力：（这就是爬虫行业所谓的RPC爬虫）
服务提供者有一个能力需要给其他人使用，但是不希望交付代码，以及不希望泄漏这个服务对应的机器（IP地址等），那么可以通过sekiro发布服务。其他人只能通过sekiro使用能力，而无法了解这个能力的任何细节。
一个算法，需要复杂的计算环境，无法在外部服务轻松部署，那么可以使用Sekiro，将API寄身在可用环境上，然后export到外部

核心流程

存在一个中心服务器：sekiro中心服务，他需要服务器端，可以被consumer和provider连接
存在多种语言的客户端，java、js、python等，并且使用这些语言实现了和sekiro中心服务器的通信和API包装
用户在各自语言中，使用sekiro客户端API编写handler，用于接受参数并且完成到真实能力的转发调用，连接sekiro服务和本地环境服务
外部用户调用sekiro中心服务API，被sekiro服务转发到对应的客户端handler，获得调用结果后，原链路返回给用户

构建教程

安装Java
安装maven
Linux/mac下，执行脚本：build_demo_server.sh，得到文件target/sekiro-open-demo.zip极为产出文件
运行脚本：bin/sekiro.sh 或 bin/sekiro.bat
文档： http://127.0.0.1:5612/sekiro-doc 假设你的服务部署在本机：127.0.0.1

安装包

iinti sekiro-demo download

sekiro-open's People

Contributors

Stargazers

Watchers

Forkers

arryboom yuknight freemanzyq nevinhappy gezijun alienwarehe igit-cn shuixi2013 crackercat lozn00 saliey hqucsx xyxdaily xtftbwvfp kingking888 linhaosheng mz135135 windseason666 q1f3 widy28 chago darksand chenrun666 huaerxiela threezhang angrykobe xuxingcan pmmking adamin1990 chaoohua resettingmq jtduan hello-earth denticle ak47king norbara meitianjinbu st0rmman loulei breathleas ptr-ptr headware ac-km mark001a titer18 xsren jiehuhu andyking1688 blueskylwz linxiaozhi huluxia linuxxx a-new donnieburgs lablado happyli0826 fishso rockzeng aihacker yangboyd qingg yousmiledwarmly w-wenzhong jhanay koflfy leiyugithub guozanhua chenyangbin zhanglang001 onegithuber dev-bobbie mengzxh neo2616 xuezh01 shuyabin whatyun weikipeng frank13810055034 forscn gogomarine fathui wudidalaofei gaohanas 5l1v3r1 cuilwww shenzhigang zhuer456789 noobchen ryanfu hongzhenwu liguobao superbase-zz allenliyh xiangyutian forvicky jiongjiong-zzzzzz 1364468984qqcom zhenlaile huaxiuyiwei xinzeyang

sekiro-open's Issues

当我在服务器部署完以后，需要备案？

背景：家庭的公网ip，阿里云的域名
操作：当使用阿里云的域名解析到家庭公网ip时，其他端口包括建站等一切正常，当运行sekiro并成功搭建好后，直接访问域名:5612，会显示要备案，和阿里的售后沟通后说是这个项目可能用了反向代理，去获取阿里云资源了，这个是我这边的问题嘛？要购买商业版吗？不太清楚。

sekiro: create connection failed,reconnect after 2s

请问下这个一直报这个错误的原因是什么，windows运行了sekiro.bat 之前没有问题，今天使用这个突然疯狂报这个错误，一直无法连接上wss，用的是最新的1109的包，加上官网最新下载的JAVA

退出APP时，Sekiro没有及时退出。

退出APP后，Sekiro没有及时退出，导致再次打开APP的时候，会抛出action registered already。（几率发生）
是否应该有结束Sekiro的方法，来控制Sekiro的生命周期。

有没计划用纯okhttp写个客户端.

因为如果是注入某些应用时，依赖其他jar生产dex文件比较麻烦。
如果是纯okhttp，Android 已经内置依赖了。

参数带Base64编码会出现乱码

比如 5a+M5by6 ，接收的时候+会消失，导致解码出现乱码

sekiro心跳显示连接成功，但是客户端却一直掉线（channel.isActive() == false）

最近在尝试使用最新版本的sekiro，发现一个现象：过了一段时间后，客户端显示掉线，但是日志上服务端与客户端的心跳连接正常。在这种情况下，有时候隔大约几个小时客户端会重连成功（channel.isActive=true），有时候就一直是【服务端显示心跳正常，但是对应的channel.isActive==false】除非重启服务端。大佬有遇到过这种情况么，有啥解决思路没？

商业版如何收费

如何配置客户端的多线程使用 not enough thread resource to execute sekiro request,please setup your custom thread pool

not enough thread resource to execute sekiro request,please setup your custom thread pool!!
too many pending task submit,please setup your custom thread pool!! pending task size:166

看到一个参数是 HandlerThreadPool.setMaxWorkSize(n);
但是不知道在何时何地使用，

/sekiro-api/sekiro-server/allocate，接口返回的域名错误！少:

请求:http://sekiro.baidu.com:5620/sekiro-api/sekiro-server/allocate?clientId=eaecdfe9-c21c-4750-98e2-fca397b3d610&ip=sekiro.baidu.com
响应:sekiro.baidu.com5620

调用时传参数自动排序

传参是这样的，因为是MD5，顺序不能变，但是发现传入参数之后自动给排序了，hash之后结果不对

直接调用加密函数是这样的

折磨好长时间，怎么解决。

模拟器中用不了吗？

安卓模拟器(雷电)中测试，无效。真机器就行。还是说我哪里搞错了？

如何调用frida中由async包装的异步方法呢？

frida的rpc可以使用同步函数、异步函数、以及返回promise的同步函数，seikiro是否同样支持直接返回promise?

pool queue empty for group:test

failed to connect to localhost/127.0.0.1 (port 5600): isConnected failed: ECONNREFUSED (Connection refused): localhost

请问怎么解决

设备无限重连

设备型号：Redmi 6，连接相同服务器 XiaoMi 8没问题，连接官方测试地址也没问题https://sekiro.virjar.com

2021-11-24 16:13:32.515 25525-25797/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] connect to sekiro server success
2021-11-24 16:13:32.781 25525-25826/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] begin to connect to upstream
2021-11-24 16:13:32.839 25525-25830/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] connect to sekiro server success
2021-11-24 16:13:33.068 25525-25858/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] begin to connect to upstream
2021-11-24 16:13:33.122 25525-25859/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] connect to sekiro server success
2021-11-24 16:13:33.498 25525-25888/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] begin to connect to upstream
2021-11-24 16:13:34.030 25525-25895/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] connect to sekiro server success
2021-11-24 16:13:34.463 25525-25931/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] begin to connect to upstream
2021-11-24 16:13:35.552 25525-25932/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] connect to sekiro server success
2021-11-24 16:13:35.774 25525-25636/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] begin to connect to upstream
2021-11-24 16:13:35.835 25525-25638/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] connect to sekiro server success
2021-11-24 16:13:36.045 25525-25736/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] begin to connect to upstream
2021-11-24 16:13:36.119 25525-25737/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] connect to sekiro server success
2021-11-24 16:13:36.268 25525-25759/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] begin to connect to upstream
2021-11-24 16:13:36.306 25525-25760/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] connect to sekiro server success
2021-11-24 16:13:36.459 25525-25794/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] begin to connect to upstream
2021-11-24 16:13:36.540 25525-25797/? I/Sekiro: [sekiroGroup:test][clientId:1][KEY_SERVER_HOST:example.com] connect to sekiro server success

传输文件问题。

https://github.com/virjar/sekiro/blob/1e4c43bb0e/sekiro-lib/src/main/java/com/virjar/sekiro/api/SekiroResponse.java#L66
如果用writeAndFlush来传输文件，文件过大的话，会堵塞channel，导致服务器read time out，close channel.

如何设置超时时间

你好请问如何能够设置超时时间，我想在执行sekiroResponse.success()之前，多一些时间去处理

Frida配合sekiro 参数params是否有长度限制

我这边采用Frida配和sekiro使用的使用get请求但是我的params过长4000多，调用时会直接报错，如果我采用post的话 Frida的js文件如何修改去支持post接受参数

params过长的错误:

<title>未找到页面 – 成都因体信息技术有限公司</title>

Uncaught TypeError: this.socket.onmessage is not a function

在服务器运行完build_demo_server.sh后，将生成的.zip解压，在服务器运行sekiro.sh，可以成功运行，但是当连接的时候会报这个错误。

当我在本地运行sekiro.bat时，可以正常连接

是因为我用的网站要求https，但我用了ws嘛？

Failed to execute goal on project sekiro-open-demo

Could not resolve dependencies for project cn.iinti.sekiro.business:sekiro-open-demo:jar:0.0.1: The following artifacts could not be resolved: cn.iinti.sekiro3.business:sekiro-business-api:jar:1.0, cn.iinti.sekiro3.business:sekiro-netty-codec-http:jar:1.0: cn.iinti.sekiro3.business:sekiro-business-api:jar:1.0 was not found in http://maven.aliyun.com/nexus/content/groups/public during a previous attempt. This failure was cached in the local repository and resolution is not reattempted until the update interval of ali has elapsed or updates are forced
在Mac上面出现这样的问题需要怎么解决

运行demoServer后，多次请求接口，java程序内存占用会一直升高，且没有下降的趋势，想请教一下大佬是否存在内存泄露？

参数中的clientId没起作用

请求的时候还是会显示不同手机的数据，好像是轮循手机数据，参数中的clientId完全不起作用，

注：自己部署的服务器端，未做任何修改

自己部署的demo版本，可以测试websocket么？

pkg not start with legal magic: 5211883372140375601 expected:8315170387645116465

封号问题

和Xposed框架一起使用，不会导致微信封号吗？

请教下二开放行跨域应该在哪配置

作者大大你好，我想做个修改，服务启动的时候允许跨域连接，这个怎么改配置

比如浏览器直接请求 http://127.0.0.1:5612/business/groupList 的时候不会提示跨域报错

感谢

日志：java.lang.NoSuchMethodError: java.nio.ByteBuffer.clear()Ljava/nio/ByteBuffer;

java.lang.NoSuchMethodError: java.nio.ByteBuffer.clear()Ljava/nio/ByteBuffer;
[2024-07-14 09:28:13,176 [eventRecorder]  INFO EventTrace:147]  sessionId:f61bfb8f-f91d-4eb9-9337-daa74bf7fb0e -> 	at cn.iinti.sekiro3.business.netty.buffer.UnpooledUnsafeDirectByteBuf.setBytes(UnpooledUnsafeDirectByteBuf.java:360)
[2024-07-14 09:28:13,177 [eventRecorder]  INFO EventTrace:147]  sessionId:f61bfb8f-f91d-4eb9-9337-daa74bf7fb0e -> 	at cn.iinti.sekiro3.business.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:899)
[2024-07-14 09:28:13,177 [eventRecorder]  INFO EventTrace:147]  sessionId:f61bfb8f-f91d-4eb9-9337-daa74bf7fb0e -> 	at cn.iinti.sekiro3.business.netty.channel.socket.nio.NioSocketChannel.doReadBytes(NioSocketChannel.java:276)
[2024-07-14 09:28:13,177 [eventRecorder]  INFO EventTrace:147]  sessionId:f61bfb8f-f91d-4eb9-9337-daa74bf7fb0e -> 	at cn.iinti.sekiro3.business.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:119)
[2024-07-14 09:28:13,178 [eventRecorder]  INFO EventTrace:147]  sessionId:f61bfb8f-f91d-4eb9-9337-daa74bf7fb0e -> 	at cn.iinti.sekiro3.business.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:643)
[2024-07-14 09:28:13,178 [eventRecorder]  INFO EventTrace:147]  sessionId:f61bfb8f-f91d-4eb9-9337-daa74bf7fb0e -> 	at cn.iinti.sekiro3.business.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:566)
[2024-07-14 09:28:13,178 [eventRecorder]  INFO EventTrace:147]  sessionId:f61bfb8f-f91d-4eb9-9337-daa74bf7fb0e -> 	at cn.iinti.sekiro3.business.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:480)
[2024-07-14 09:28:13,178 [eventRecorder]  INFO EventTrace:147]  sessionId:f61bfb8f-f91d-4eb9-9337-daa74bf7fb0e -> 	at cn.iinti.sekiro3.business.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:442)
[2024-07-14 09:28:13,178 [eventRecorder]  INFO EventTrace:147]  sessionId:f61bfb8f-f91d-4eb9-9337-daa74bf7fb0e -> 	at cn.iinti.sekiro3.business.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:131)
[2024-07-14 09:28:13,179 [eventRecorder]  INFO EventTrace:147]  sessionId:f61bfb8f-f91d-4eb9-9337-daa74bf7fb0e -> 	at cn.iinti.sekiro3.business.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:144)
[2024-07-14 09:28:13,179 [eventRecorder]  INFO EventTrace:147]  sessionId:f61bfb8f-f91d-4eb9-9337-daa74bf7fb0e -> 	at java.lang.Thread.run(Thread.java:748)

下载open版本2024的20240313在centos上运行，jdk版本1.8，然后访问http://ip:5612/business-demo/groupList显示ERR_CONNECTION_RESET，再发现日志就有这个错误，一直在刷

偶发502错误，xposed的afterHookedMethod方法里有时候获取不到sekiroResponse

sekiro由于异步的关系，afterHookedMethod里出发hook,有时候获取不到sekiroResponse，web发送请求的时候偶发502错误。是代码结构的问题吗？

谢谢

代码如下

`sekiroClient = SekiroClient.start("11.11.11.11", "client-2", "hello-sekiro");

sekiroClient.registerHandler("my_action",new SekiroRequestHandler() {
@OverRide
public void handleRequest(SekiroRequest sekiroRequest, SekiroResponse sekiroResponse) {

    Model myModel= Model.newInstance();
    Store.requestTaskMapResponse.put(myModel, sekiroResponse);

    findAndHookMethod("com.sun.test", loadPackageParam.classLoader, "a", String.class, Map.class, new XC_MethodHook() {

        @Override
        protected void beforeHookedMethod(MethodHookParam param) throws Throwable {

            Model myModel= Model.newInstance();

            if (myModel.getPointer() == null) {

                myModel.setPointer(param.thisObject);
            } else {

                SekiroRequest sekiroRequest = Store.requestTaskMapRequest.remove(myModel);
                if (sekiroRequest != null) {

                    String doAction = sekiroRequest.getString("do_action");
                    Logcat.i("sekiro_doAction", doAction);

                }

            }

        }

        @Override
        protected void afterHookedMethod(MethodHookParam param) throws Throwable {
            Logcat.i("tt_afterHookedMethod");

            JSONObject jsonObject = new JSONObject();

            Model myModel= Model.newInstance();

            if (myModel.getPointer() == null) {

                myModel.setPointer(param.thisObject);
            } else {

                SekiroResponse sekiroResponse = Store.requestTaskMapResponse.remove(myModel);
                if (sekiroResponse != null) {
                    sekiroResponse.send(jsonObject.toString());
                }
            }

        }
    });

}

});`

处理io.netty的问题

我使用这个框架，注入到某手app中。遇到和它本身的io.netty包相关的类名冲突问题，导致无法进行解析初始化