threezh1 / jsfinder Goto Github PK

View Code? Open in Web Editor NEW

2.5K 23.0 395.0 13 KB

JSFinder is a tool for quickly extracting URLs and subdomains from JS files on a website.

Python 100.00%

jsfinder's Introduction

JSFinder

JSFinder is a tool for quickly extracting URLs and subdomains from JS files on a website.

JSFinder是一款用作快速在网站的js文件中提取URL，子域名的工具。

提取URL的正则部分使用的是LinkFinder

JSFinder获取URL和子域名的方式：

Blog: https://threezh1.com/

更新说明

增加油猴脚本用于在浏览器上访问页面时获取域名与接口，具体可见：https://github.com/Threezh1/Deconstruct/tree/main/DevTools_JSFinder

用法

简单爬取

python JSFinder.py -u http://www.mi.com

这个命令会爬取 http://www.mi.com 这单个页面的所有的js链接，并在其中发现url和子域名

返回示例：

url:http://www.mi.com                                         
Find 50 URL:                                                  
http://api-order.test.mi.com                                  
http://api.order.mi.com                                       
http://userid.xiaomi.com/userId                               
http://order.mi.com/site/login?redirectUrl=                                                   
...已省略                            
                                                              
Find 26 Subdomain:                                            
api-order.test.mi.com                                         
api.order.mi.com                                              
userid.xiaomi.com                                             
order.mi.com                                                                                              
...已省略

深度爬取

python JSFinder.py -u http://www.mi.com -d

深入一层页面爬取JS，时间会消耗的更长。

建议使用-ou 和 -os来指定保存URL和子域名的文件名。例如：

python JSFinder.py -u http://www.mi.com -d -ou mi_url.txt -os mi_subdomain.txt

批量指定URL/指定JS

指定URL：

python JSFinder.py -f text.txt

指定JS：

python JSFinder.py -f text.txt -j

可以用brupsuite爬取网站后提取出URL或者JS链接，保存到txt文件中，一行一个。

指定URL或JS就不需要加深度爬取，单个页面即可。

其他

-c 指定cookie来爬取页面例：

python JSFinder.py -u http://www.mi.com -c "session=xxx"

-ou 指定文件名保存URL链接例：

python JSFinder.py -u http://www.mi.com -ou mi_url.txt

-os 指定文件名保存子域名例：

python JSFinder.py -u http://www.mi.com -os mi_subdomain.txt

注意

url 不用加引号

url 需要http:// 或 https://

指定JS文件爬取时，返回的URL为相对URL

指定URL文件爬取时，返回的相对URL都会以指定的第一个链接的域名作为其域名来转化为绝对URL。

截图

实测简单爬取：

python3 JSFinder.py -u https://www.jd.com/

URL:

Subdomain:

实测深度爬取：

python3 JSFinder.py -u https://www.jd.com/ -d -ou jd_url.txt -os jd_domain.txt

实际测试：

http://www.oppo.com
URL:4426 个
子域名：24 个

http://www.mi.com
URL:1043 个
子域名：111 个

http://www.jd.com
URL:3627 个
子域名：306 个

jsfinder's People

Contributors

Stargazers

Watchers

Forkers

zglaozhu inetsec omiter p4sschen p0desta galaxylove slody nonu11 crackercat chenyangnjit victor0013 cream-sec redwifiteam liufuqin0922 cclauss lordsky conanjun h4ly85 zzhsec djiangliu whojeff sry309 isees fbion difa12321 xiju2003 evilysera whizsail bitmyth lonehand heyzm test123test111 sdfzy jojoli123 black-l 0xss syste1n wang0098 ba0zi ifishzz d4wner kinofrikin ffpepwowa 957204459 5up3rc l34rner kenanat pckey thelostworldfree shimxx r4b3rt anquanzhu yangshuangfu blankm1 beyond-study liao10086 re-expoc creazygan qhxb jayl1n hkylin helloexp podvps greekers chen1sheng xiaoyunge jax777 modulexcite isecren byt5s zcdy k4ge conan25216 do0dl3 arryboom arewss crowlone mohammed-sec2010 thatqier qing-q he1lif3 affilares natrix-fork harry1080 ofser ben1981power roukmanxlu yaoxiaodai march0 zkaq-mss sh9369 heartway redfiresmile toygang tudou1998 apt365 ze4lfrog crazy1984 1f3lse linpengstc

jsfinder's Issues

parse模块已安装仍然提示没有

Traceback (most recent call last):
File "JSFinder.py", line 8, in
from urllib.parse import urlparse
ImportError: No module named parse

Consider adding additional domain URLs using free Hudson Rock Cybercrime Intelligence integration

Consider adding Hudson Rock's complimentary data to receive additional URLs associated with a specific domain.
Data was retrieved from infected computers with the Infostealer malware and contains URLs that usually cannot be found conventionally.

Domain sample: https://cavalier.hudsonrock.com/api/json/v2/osint-tools/urls-by-domain?domain=tesla.com

Thank you.

域名结果显示有问题

域名结果建议用正则过滤一下

如oim.oppo.comrightwindowJump.jsp
应该为oim.oppo.com

可以支持非域名的链接扫描吗，比如http://ip 这种形式

CMD报Fail to access的错误

大佬您好，在爬取某URL时，CMD窗口报Fail to access错误

Fail to access http://www.abc.cn/

大佬可以解释一下吗

请问显示这个是咋回事儿啊

Traceback (most recent call last):
File "D:\python\JSFinder-master\JSFinder.py", line 6, in
import requests, argparse, sys, re
ModuleNotFoundError: No module named 'requests'

vue的前端提取不了啊

是用不了

下载解压后只有两个文件，进入cmd，是用不了是怎末回事

无法识别参数

python .\JSFinder.py -u https://security.shuidihuzhu.com -ou sdcUrl.txt -os sucSubc.txt -d
python .\JSFinder.py -u https://security.shuidihuzhu.com -d
python .\JSFinder.py -u https://security.shuidihuzhu.com

递归查询 -d 参数加上以后就不出结果了

使用普通的-u 参数都正常，但是加上-d 以后就什么结果都不出来了

老是出现gbk错误请问怎么解决呢？

使用命令py -3 JSFinder.py -u https://www.mi.com -d -ou mi_url.txt -os mi_subdomain.txt
老是出现
Traceback (most recent call last):
File "JSFinder.py", line 247, in
giveresult(urls, args.url)
File "JSFinder.py", line 221, in giveresult
print(url)
UnicodeEncodeError: 'gbk' codec can't encode character '\u200b' in position 81: illegal multibyte sequence

url:https://www.jd.com
Traceback (most recent call last):
  File "JSFinder.py", line 242, in <module>
    urls = find_by_url(args.url)
  File "JSFinder.py", line 124, in find_by_url
    temp_urls = extract_URL(script_array[script])
  File "JSFinder.py", line 50, in extract_URL
    return [match.group().strip('"').strip("'") for match in result
  File "JSFinder.py", line 51, in <listcomp>
    if match.group() not in js_url]
NameError: name 'js_url' is not defined

能帮忙解决一下嘛？

ALL Find 510 links
Traceback (most recent call last):
  File "/JSFinder/JSFinder.py", line 264, in <module>
    giveresult(urls, urls[0])
IndexError: list index out of range