avwo / whistle Goto Github PK

View Code? Open in Web Editor NEW

13.7K 205.0 1.1K 77.19 MB

HTTP, HTTP2, HTTPS, Websocket debugging proxy

Home Page: https://wproxy.org/

License: MIT License

JavaScript 94.32% HTML 1.43% CSS 4.25%

fiddler charles hosts web proxy debug node nodejs weinre

whistle's Introduction

whistle

Mac 或 Windows 系统推荐使用客户端版本：https://github.com/avwo/whistle-client

Whistle 是基于 Node 实现的跨平台抓包调试工具，其主要特点：

完全跨平台：支持 Mac、Windows 等桌面系统，且支持服务端等命令行系统
功能强大（理论上可以对请求做任意修改）：
- 支持作为 HTTP、HTTPS、SOCKS 代理及反向代理
- 支持抓包及修改 HTTP、HTTPS、HTTP2、WebSocket、TCP 请求
- 支持重放及构造 HTTP、HTTPS、HTTP2、WebSocket、TCP 请求
- 支持设置上游代理、PAC 脚本、Hosts、延迟（限速）请求响应等
- 支持查看远程页面的 console 日志及 DOM 节点
- 支持用 Node 开发插件扩展功能，也可以作为独立 npm 包引用
操作简单：
- 直接通过浏览器查看抓包、修改请求
- 所有修改操作都可以通过配置方式实现（类似系统 Hosts），并支持分组管理
- 项目可以自带代理规则配置并一键设置到本地 Whistle 代理，也可以通过定制插件简化操作

一键安装

已安装 brew 的 PC，可以省略以下 1、2 步骤，直接通过以下方式一键安装：brew install whistle && w2 start --init（arm64 平台尝试用 brew install node && npm i -g whistle && w2 start --init）

安装 Node（建议安装最新的 LTS 版本，如已安装忽略此步骤）：https://nodejs.org/
一键安装，在命令行执行以下命令：
```
npm i -g whistle && w2 start --init
```
上述命令会先全局安装 Whistle 的 npm 包后，启动 Whistle 并设置系统全局代理，以及安装系统根证书，目前一键安装只支持 Mac & Windows 系统，其它系统按照下面 手动安装 的方式操作。

如果安装过程时报错 Bad CPU type in executable，在命令执行 arch -x86_64 zsh 再重新执行一键安装命令。
一键安装过程中注意事项：
- Mac 需要两次输入开机密码或指纹验证
- Windows 需要最后点击 “是(Y)” 确认

如果需要自定义代理配置或根证书（如设置其它代理，根证书或代理白名单等）可以通过以下命令实现：

w2 proxy 设置系统全局代理：https://wproxy.org/whistle/proxy.html
w2 ca 设置系统根证书：https://wproxy.org/whistle/proxy.html

也可以用下面 手动安装 方式。

手动安装

非 Mac & Windows 系统或一键安装失败可以按下面方式设置代理和安装根证书：

设置代理：https://wproxy.org/whistle/install.html
安装根证书：https://wproxy.org/whistle/webui/https.html

快速上手

安装成功后，用 Chrome 打开链接 http://local.whistlejs.com 即可看到 Whistle 的抓包配置界面：

详细用法参见：Whistle 帮助文档

通过 SwitchyOmega 设置代理

安装 SwitchyOmega

打开 Chrome 扩展商店进行安装 https://chrome.google.com/webstore/detail/proxy-switchyomega/padekgcemlokbadohgkifijomclgjgif

配置 SwitchyOmega

全局代理如果会影响到某些客户端的请求（客户端设置了 ssl pinning），也可以使用 Chrome 插件设置代理（只对 Chrome 生效）：

可以通过 w2 proxy off 关闭全局代理

设置 Whistle 代理
选择 Whistle 代理

安全设置

通过启动参数给管理界面设置用户名密码：w2 restart -n yourusername -w yourpassword
通过插件给经过代理的请求设置用户名密码：https://github.com/whistle-plugins/whistle.proxyauth

License

MIT

whistle's People

Contributors

Stargazers

Watchers

Forkers

hwlweb steelli haledeng webcoding givonchen allen-zkm uncia seekwe youwi yangjiqiao86 bobbyzhu zhengyuqin jonylok ericcom maxjchuang geekhuyang hellogitworld chenlyee mapleeit 740521985 9kg lstoars kxws888 cyf-slahser bingxinti youdian yijiang-kabam xclouded rhj1122 zpcooper zhangjunlei26 darrencoding xuwenping dennisleung shawyouxh xtidt alsan ryan-pek chyun jiyuren jkgeekjack miraclecyq jerroldlee libingbing667 gongtingshisi spnow melbshark cloudhm eteplus moriarty2016 wuyanming chilltc songofhack khuangyl goofusuper haigecao lotuslwb johnsonzz jimmyinterview xiaojichao haohaolee yulin3 star-nodejs yewpu slaythia yangfjiahl-fork rangerch jamalmo zhouhao777 samuraiheart7 larrylu noonhorse cssfirefly rxk666666 felix6wang chb992983141 swatchion chbless leizongmin chenmol vizn lijunhuawhu freeskyg jlia0 okeqinwang hanyouqing papajia fucssjs wycharry qxp1011 alysawei overcome zhishaofei3 windyao clm330 coldzoo lpj0017 fengshuai198904 yelinqing jackunchen

whistle's Issues

Mac terminal curl / wget / node 无法代理

浏览器中设置了系统代理之后, 可以代理
但是当使用curl / wget 或者 node中使用request, 则无法代理

使用 proxifier全局代理之后, nodejs 陷入死循环

请问有什么好的解决方案吗?

返回的Content-Type为application/octet-stream时的处理

当返回的header属性Content-Type为application/octet-stream时，建议可以尝试以文本的方式展示；

注：像postman这样的工具会正常展示哦。

当前表现：

为什么readme中的option说明里有-r参数，实际工程中却没有？

需要持续集成进行使用，每次要替换rules文件，想用-r参数进行指定，为什么发现clone下来的工程没有这个功能呢？版本是V0.10.1

很好的软件，话说监听端口协议能用https吗。。。

有些软件限制不能用http协议代理，比如我想Proxifier只接管某一程序到whistle，接http有限制。。。
或者有啥比较方便的转http到https的？

Mac 关闭whistle之后无法联网

w2 start 之后可以正常联网
w2 stop 访问网页会提示“代理服务器出现问题，或者地址有误。”
请问还需要怎么设置？

是否有启动配置文件？

我在文档中安装启动章节，没有看到启动 w2 的配置，所有的启停相关命令都是在命令行下直接完成。

我建议可以维护一个针对项目启动的配置文件，在 w2 start 的时候可以默认指定，帮助用户减化命令行下的启动命令输入。

使用 whistle 代理 cloudflare 资源时，提示证书过期

https://cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.1/MathJax.js?config=TeX-AMS-MML_SVG

点击clear All Sessions,清除后请求列表后又再原样展示

操作系统:windows 7
node版本:v5.10.1
whistle版本:v1.1.2

描述如题或者参见gif,抱歉不能给出全部截屏,可以关注序号为32的中止请求,清除多次列表后,又反复出现了

whistle 可以像nginx过滤指定的文本类型指向不同的代理地址吗？

chrome 环境下使用whistle 无法捕获https请求

chrome版本： "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"

whistle 版本： 1.4.20

错误信息： NET::ERR_CERT_AUTHORITY_INVALID

根证书已经安装

电脑也重启了

whistle restart -A 也试过了

tnpm i whistle -g 也尝试过了

目前的情况是 http 可以捕获 https 不行

weinre 是根据什么判断 html 的？

系统是 mac，没开防火墙，使用weinre时,targets 是none,貌似要写手动写weinre的 js 才可以用,

<script src="http://x.x.x.x:8901/target/target-script-min.js#anonymous"></script>

ui相关的js代码看不懂

最近在学习您的项目, 但是whistle/biz/webui/htdocs/js/index.js这个文件看着不像是原文件啊, 应该是经过压缩处理的吧? 可否把源码开放出来?

node v8.1.3 开启https，打不开网页

node v8.1.3 有时会出现访问whistle的界面被卡住，打不开localhost和127.0.0.1:8899

执行 curl -i http://127.0.0.1:8899 卡住没反应

新增copy as cURL功能

需要新增类似copy as cURL功能，一般Fiddler和Charles都支持。谢谢。

mac下无法完成HTTPS抓包

已经按照教程 https://avwo.github.io/whistle/webui/https.html
安装好证书，但访问https网站还是无法抓包，在network中没有相关请求
麻烦看下

端口占用时，建议优化提示

目前启动whistle的时候，如果端口被占用，会直接抛出js错误。建议优化提示

simon  sudo whistle start
Date: 2016-03-30 14:12:07.645
Error: listen EADDRINUSE :::8899
    at Object.exports._errnoException (util.js:856:11)
    at exports._exceptionWithHostPort (util.js:879:20)
    at Server._listen2 (net.js:1227:14)
    at listen (net.js:1263:10)
    at Server.listen (net.js:1359:5)
    at EventEmitter.app.listen (/usr/local/lib/node_modules/whistle/node_modules/express/lib/application.js:595:24)
    at proxy (/usr/local/lib/node_modules/whistle/lib/index.js:197:19)
    at init (/usr/local/lib/node_modules/whistle/index.js:3:25)
    at Command.<anonymous> (/usr/local/lib/node_modules/whistle/node_modules/starting/lib/bootstrap.js:10:4)
    at Command.listener (/usr/local/lib/node_modules/whistle/node_modules/starting/node_modules/commander/index.js:289:8)

HTPPS Error: connect ECONNREFUSED

Date: 2016-08-03 01:08:28.490
Error: connect ECONNREFUSED 218.30.108.181:443
at Object.exports._errnoException (util.js:870:11)
at exports._exceptionWithHostPort (util.js:893:20)
at TCPConnectWrap.afterConnect as oncomplete

mac whistle 长时间放置后挂掉了

TypeError: Cannot read property 'on' of undefined
at Object.fork (/usr/local/lib/node_modules/whistle/node_modules/pfork/lib/index.js:79:14)
at loadPlugin (/usr/local/lib/node_modules/whistle/lib/plugins/index.js:214:5)
at /usr/local/lib/node_modules/whistle/lib/plugins/index.js:323:5
at Array.forEach (native)
at loadPlugins (/usr/local/lib/node_modules/whistle/lib/plugins/index.js:319:11)
at getRulesFromPlugins (/usr/local/lib/node_modules/whistle/lib/plugins/index.js:337:3)
at getRulesMgr (/usr/local/lib/node_modules/whistle/lib/plugins/index.js:504:3)
at EventEmitter.pluginMgr.getResRules (/usr/local/lib/node_modules/whistle/lib/plugins/index.js:515:3)
at ServerResponse.res.response (/usr/local/lib/node_modules/whistle/lib/inspectors/res.js:365:15)
at ClientRequest. (/usr/local/lib/node_modules/whistle/lib/inspectors/res.js:332:25)

iPhone上安装证书时有坑

作者应该强调下要用Safari下载安装证书，因为我之前用Chrome下载会提示文件没有对应的打开方式，换成微信传文件，同时提示没有对应的打开方式。后来试了下Safari就会提示安装了。这个地方好坑，费了我一个多小时。

某种格式的pac文件没法work

举个例子：

var FindProxyForURL = function(init, profiles) {
    return function(url, host) {
        "use strict";
        var result = init, scheme = url.substr(0, url.indexOf(":"));
        do {
            result = profiles[result];
            if (typeof result === "function") result = result(url, host, scheme);
        } while (typeof result !== "string" || result.charCodeAt(0) === 43);
        return result;
    };
}("+google", {
    "+google": function(url, host, scheme) {
        "use strict";
        if (/(?:^|\.)google\.com$/.test(host)) return "+internal-vf";
        return "DIRECT";
    },
    "+internal-vf": function(url, host, scheme) {
        "use strict";
        if (host === "127.0.0.1" || host === "::1" || host.indexOf(".") < 0) return "DIRECT";
        return "PROXY 127.0.0.1:8123";
    }
});

这是从chrome 插件 SwitchyOmega 导出来的，是正确的 javascript 代码，但是在 whistle 下无法工作

pc上chrome安装证书无效

环境
os: windows 7 64bit
nodejs:v5.10.0

如图，在pc上访问https站点时被知证书无效。
@安装证书rootCA.crt时，确认保存在受信任的根证书颁发机构中，问题出现在pc上，Android和iOS都正常，麻烦 @avwo 解答，多谢：）

==============我是分隔线============
现在问题解决了，麻烦@avwo 关闭这个issue，
解决方法贴在这，供参考

问题原因：域账号无法添加rootCA.crt，至受信任的根证书颁发机构证书列表中

步骤：

取消证书验证

2.导入证书

3.全选证书目的：打开IE -> Internet选项 -> 内容 -> 证书 ->高级

经过以上步骤，问题解决了

DNS Lookup Failed

在mac下，设置网络https代理为127.0.0.1 8899后；
chrome访问，一起正常，抓包也没有问题；
但是使用chrome的插件postman工具发起相同的请求后，提示错误如下：

希望能增加一个配置导入导出的功能

坑啊，升级后原先的hosts配置全没了。。作者你咋不注明下呢，555

the new version has one problem

the whistle navigator miss a clear button, please help me, it's an important function in UI. Thank you very much.

为什么我通过连接whistle连接代理，安卓手机端显示乱码？修改resType还是不行。

我试了很多办法都没有解决，求大神解决。

Network 面板只能抓到 CONNECT 请求

能否支持多端口开启多进程独立工作？

配置公用没关系，但是前端显示能否完全独立呢？

像下面nginx这样转发怎么配置？

    location  ~.*\.(gif|jpg|jpeg|png|bmp|swf|ico|js|css|html)$
    {
        root   html;
        proxy_pass http://127.0.0.1:8080;
    }
    location / {
        root   html;
        proxy_pass http://192.168.30.118:8877;


    }

chrome更新到v58后，https的根证书无法使用了

chrome更新到v58后，https的根证书无法使用了，目前怎么解决

能否增加配置支持指定配置文件路径

有没有办法做到支持指定配置文件路径？
经常由于重装系统时忘记备份whistleAppData目录，导致配置的hosts文件重装以后全部丢失。
希望能够有自定义配置文件路径的功能。

安装根证书：缺少此客户端证书的私钥，或私钥无效。

我是ubuntu，用chromium导入rootCA报了这个错误：缺少此客户端证书的私钥，或私钥无效。

能否一个pattern映射到多个本地文件？

hi，请问下：

seajs combo情况下
会有这样的请求
http://img.weiyun.com/c/=/club/weiyun/js/publics/seajs/sea.js,/club/weiyun/js/publics/seajs-plugins/seajs-combo.js?max_age=31104000
需要映射到两个文件路径：
{filepath}/club/weiyun/js/publics/seajs/sea.js
{filepath}/club/weiyun/js/publics/seajs-plugins/seajs-combo.js

这种能不能实现？

现在能抓WebSocket的包了吗

想抓websocket的包，但是现在好像还看不到，能看到http和https的包。不知道现在的版本支持抓websocket的包吗？

做代理时异常退出

Error: connect EIO 124.243.193.116:443 - Local (0.0.0.0:0)
at Object.exports._errnoException (util.js:1050:11)
at exports._exceptionWithHostPort (util.js:1073:20)
at internalConnect (net.js:889:16)
at lookupAndConnect (net.js:977:5)
at TLSSocket.realConnect (net.js:945:5)
at TLSSocket.Socket.connect (net.js:903:22)
at TLSSocket.net.Socket.connect (/usr/local/lib/node_modules/whistle/index.js:21:22)
at Object.exports.connect (_tls_wrap.js:1060:12)
at Agent.createConnection (https.js:83:22)
at Agent.createSocket (_http_agent.js:195:26)

w2 restart

后又能正常访问服务。连续刷新又会出现上述问题。
如果是访问非 127.0.0.1 的服务就不会有这问题