moonshawdo / checkgoogleip Goto Github PK

c179dd6 后运行，开始connect一个ip段后出错：

segmentation falt (core dumped)

再次运行时出错：

[Thread-140]try connect to 1.179.249.147 
Exception in thread Thread-167:
Traceback (most recent call last):
  File "/usr/lib/python2.7/threading.py", line 810, in __bootstrap_inner
    self.run()
  File "checkgoogleip-master/checkip.py", line 267, in run
    self.runJob()
  File "checkgoogleip-master/checkip.py", line 254, in runJob
    (ssldomain, costtime) = ssl_obj.getssldomain(self.getName(), ipaddr)
  File "checkgoogleip-master/checkip.py", line 168, in getssldomain
    c.do_handshake()
  File "/usr/lib/python2.7/site-packages/OpenSSL/SSL.py", line 1076, in do_handshake
    self._raise_ssl_error(self._ssl, result)
  File "/usr/lib/python2.7/site-packages/OpenSSL/SSL.py", line 871, in _raise_ssl_error
    _raise_current_error()
  File "/usr/lib/python2.7/site-packages/OpenSSL/_util.py", line 22, in exception_from_error_queue
    raise exceptionType(errors)
Error: [('memory buffer routines', 'BUF_MEM_grow', 'malloc failure')]

[Thread-34]ip: 1.179.248.95,CN: *.googlevideo.com 
[Thread-278]ip: 1.179.248.81,CN: *.googlevideo.com 
[Thread-34]try connect to 1.179.249.148 
[Thread-278]try connect to 1.179.249.149 
[Thread-152]ip: 1.179.248.57,CN: *.googlevideo.com 
[Thread-152]try connect to 1.179.249.150 
Segmentation fault (core dumped)

调低到128条线程依然如此，是不是内存泄漏了？
本机系统archlinux，内存1G，support pyopenssl

第一版256x3条线程依然能正常运行完，注释掉超级多的connect和timeout提示后，我也注意到了某些ip段会出现eof的握手错误，不过估计是受gfw干扰所致。

现在发现除了*.google.com/google.com的证书服务器可以用来做GAE之外，还发现其他另外的75个域名证书服务器也可以用于做GAE。总不能每个证书开一个进程来扫吧···
*.au.doubleclick.net
*.blogger.com
*.de.doubleclick.net
*.doubleclick.net
*.fr.doubleclick.net
*.g.doubleclick.net
*.gfsvc.com
*.google.ae
*.google.at
*.google.be
*.google.cn
*.google.ca
*.google.ch
*.google.co.in
*.google.co.il
*.google.co.jp
*.google.co.kr
*.google.co.ve
*.google.co.nz
*.google.co.za
*.google.com
*.google.com.ar
*.google.com.au
*.google.com.br
*.google.com.hk
*.google.com.ly
*.google.com.mx
*.google.com.my
*.google.com.pe
*.google.com.ph
*.google.com.pk
*.google.com.ru
*.google.com.sg
*.google.com.tr
*.google.com.tw
*.google.com.ua
*.google.com.vn
*.google.de
*.google.dk
*.google.es
*.google.fi
*.google.fr
*.google.it
*.google.nl
*.google.lt
*.google.lv
*.google.pl
*.google.pt
*.google.ro
*.google-analytics.com
*.googleadservices.com
*.googleapis.com
*.googlecode.com
*.googlegroups.com
*.googleusercontent.com
*.gstatic.com
*.jp.doubleclick.net
*.mail.google.com
*.orkut.com
*.uk.doubleclick.net
*.vp.video.l.google.com
accouts.google.com
adwords.google.com
adwords.google.sk
cert-test.sandbox.google.com
checkout.google.com
google.com
m.google.com
mail.google.com
sandbox.google.com
ssl.google-analytics.com
talk.google.com
tpc.googlesydicatio.com
upload.video.google.com
wifi.google.com
www.google.com
www.googleadservices.com

看起来好像是的

我扫出了一些IP后，过几天想用gogo tester测试一下，打开ip_tmpok.tx，复制扫描出的IP，再导入gogo tester的时候，除了第一个IP，其它的IP导入格式都是错误的。我用的是XP系统。请问有没有啥办法解决一下这个问题。我不是IT人士，能弄个方便的方案么？

goagent 3.1.23 将效果放到goagent中就是不成功,郁闷了

你好moonshawdo
能不能增加对于ipv6的扫描呢？

是因为我手动关闭，而不是软件自动完成的原因？刚才用正则检查，3万多的ip里面，大概重复了11组

新版本的大部分ip都提示 404 / 405 错误,

回滚到以下 版本就好了:

git checkout a7f4972

具体为什么, 请作者查下.

我把线程改成900，自定义IP0/16的6万5个IP扫完要8分钟左右，但是导入600多万个IP只要50分钟就扫完了，我已经把最大可用IP数量g_maxhandleipcnt改成1千万了还是没用，扫了50分钟就停住了窗口2分钟没动请问该怎么解决呢

界面提示如下：
C:\Program Files\GoAgent\local>"C:\Program Files\GoAgent\local\python27.exe" "C:\Program F i1es\GoAgen t\1oca1\c hec k i p.py"
[Thread-1 ]begin to get ratndotn ip
[MainThread]need create max threads count: 128
[Thread-1]load extra ip ok.line:1642.load default ip: 0
Exception in thread Thread-1:
Traceback (most recent call last):
File "C:\Program Files\GoAgent\local\python27.zip\threading.py". line 810. in__bootstrap_inner
File "C:\Program Files\GoAgent\local\checkip.py". line 836. in run
File "C:\Program Files\GoAgent\local\checkip.py". line 749. in ramdomip
File "C:\Program Files\GoAgent\local\checkip.py". line 884. in splitip
UalueError: too many ualues to unpack

https://code.google.com/p/goagent/issues/detail?id=19050
修改内容：
1、可设置参数提前，方便修改。
2、输出中文化。
3、增加 ip_tmpnot 区分非 google IP。
4、清空内置 IP 库，使用外挂 eip.txt 自定义 IP。
5、去除 IP 输出最后一个“|”。
使用方法：
下载 checkip.bat、checkip.py、eip.txt 放入 goagent 目录，运行 checkip.bat，结果输出到 ip.txt，请自行粘贴到配置文件。

IP 库放在一个文件中这个功能是否能够合并进来？
另外，能否自动整理ip_tmpok.txt，删除相同的IP，只保留最后一次的记录？

线程设置无效，貌似变成直接变成单线程了

Exception in thread Thread-141:
Traceback (most recent call last):
  File "C:\Downloads\goagent-3.0\local\python27.zip\threading.py", line 810, in
__bootstrap_inner
  File "C:\Downloads\goagent-3.0\local\checkip.py", line 238, in run
  File "C:\Downloads\goagent-3.0\local\checkip.py", line 222, in runJob
  File "C:\Downloads\goagent-3.0\local\checkip.py", line 201, in getssldomain
  File "C:\Downloads\goagent-3.0\local\python27.zip\ssl.py", line 292, in shutdo
wn
  File "C:\Downloads\goagent-3.0\local\python27.zip\socket.py", line 224, in met
h
error: [Errno 10057] A request to send or receive data was disallowed because th
e socket is not connected and (when sending on a datagram socket using a sendto
call) no address was supplied

try to collect ssl result
write to file C:\Downloads\goagent-3.0\local\ip.txt ok,count:0
Press any key to continue . . .

OS: windows xp sp3
Goagent Version: goagent/goagent@e0c5b1e
Checkgoogleip Version: 1434c47

69.13.199.94 3116 www.google.com gws
64.15.119.139 6093 www.google.com gws
64.15.126.213 7603 www.google.com gws

但浏览器给的警告不是google的

因为扫描IP库过大时会内存不够，于是就分割IP段为googleip-1.txt、googleip-2.txt、googleip-3.txt，可是扫描的时候，第一个文件扫描完，第二个开始就：ip queue size: 0，没法扫描，请问下是否有办法可以解决？

begin check googleip-2.txt
[Thread-52]begin to get ramdom ip
[MainThread]need create max threads count: 50
[Thread-52]load extra ip ok,line:1,load default ip: 0
[Thread-52]ramdom ip thread stopped.had check ip: 0,rest ip queue size: 0
[MainThread]try to collect ssl result,check ip cnt: 256,times:0s
[MainThread]write to file D:\Portable\GoAgent\checkiptools\ip.txt ok,count:0

begin check googleip-3.txt
[Thread-103]begin to get ramdom ip
[MainThread]need create max threads count: 50
[Thread-103]load extra ip ok,line:5,load default ip: 0
[Thread-103]ramdom ip thread stopped.had check ip: 0,rest ip queue size: 0
[MainThread]try to collect ssl result,check ip cnt: 256,times:0s
[MainThread]write to file D:\Portable\GoAgent\checkiptools\ip.txt ok,count:0

更改的代码从1060行开始：

if __name__ == '__main__':
    if len(sys.argv) > 1:
        checkip(sys.argv[1])
    else:
        files = os.listdir(g_filedir)
        i = 0
        for item in files:
            if "googleip-" in item:
                i = re.findall(r'([0-9]+)',item)[0]
                if os.path.exists("googleip-%s.txt" % i):
                    g_googleipfile = os.path.join(g_filedir,"googleip-%s.txt" % i)
                    print "\nbegin check googleip-%s.txt" % i
                    list_ping()
                    if not os.path.exists(g_filedir + "/tmp"): os.mkdir("tmp")
                    if os.path.exists("ip_tmperror.txt"): os.rename("ip_tmperror.txt", "ip_tmperror-%s.txt" % i)
                    if os.path.exists("ip_tmpno.txt"): os.rename("ip_tmpno.txt", "ip_tmpno-%s.txt" % i)
                    if os.path.exists("ip_tmpok.txt"): os.rename("ip_tmpok.txt", "ip_tmpok-%s.txt" % i)
                    if os.path.exists("ip_tmperror-%s.txt" % i): shutil.move("ip_tmperror-%s.txt" % i, "tmp/")
                    if os.path.exists("ip_tmpno-%s.txt" % i): shutil.move("ip_tmpno-%s.txt" % i, "tmp/")
                    if os.path.exists("ip_tmpok-%s.txt" % i): shutil.move("ip_tmpok-%s.txt" % i, "tmp/")
            elif item == 'googleip.txt' and i == 0:
                list_ping()

"[Thread-29]Catch IO Exception(64.18.0.28): [Errno 10055] , times:1156 ms"
开始一堆129 ip timeout似乎是没找到ok ip ,一会后就报这个了，是什么问题？xpsp3+goagent 3.2.3 谢谢！

[4894][MainThread]support PyOpenSSL
[4894][MainThread]support multiprocess
[4894][MainThread]support fuzzy matching ssl domain
Traceback (most recent call last):
File "checkip.py", line 668, in
list_ping()
File "checkip.py", line 639, in list_ping
if checkqueue.qsize() > 0:
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/multiprocessing/queues.py", line 143, in qsize
return self._maxsize - self._sem._semlock._get_value()
NotImplementedError

C:\WINDOWS\system32>"C:\Program Files\goagent-3.0\local\python27.exe" "C:\Program Files\goagent-3.0\local\checkip.py"
[MainThread]load last result,ok cnt:1482,ok file line:116,error cnt: 225204
[MainThread]need create max threads count: 60
[Thread-1]begin to get ramdom ip
[Thread-1]load last gae ip cnt: 115
[Thread-1]ramdom ip thread stopped.had check ip: 60,rest ip queue size: 66
[Thread-3]ip: 64.233.162.87,CN: *.orkut.com,O:Google Inc,svr: gws,t:2480ms,ok:0
[Thread-5]ip: 64.233.162.85,CN: *.orkut.com,O:Google Inc,svr: gws,t:2572ms,ok:0
[Thread-8]ip: 64.233.162.81,CN: sandbox.google.com,O:Google Inc,svr: gws,t:2574ms,ok:0
[Thread-6]ip: 64.233.162.82,CN: *.googlecode.com,O:Google Inc,svr: gws,t:3187ms,ok:0
[Thread-2]ip: 64.233.162.86,CN: *.orkut.com,O:Google Inc,svr: gws,t:3360ms,ok:0
[Thread-7]ip: 64.233.162.83,CN: mail.google.com,O:Google Inc,svr: gws,t:3637ms,ok:0
[MainThread]120 ip timeout
[MainThread]try to collect ssl result,check ip cnt: 126,times:51s
[MainThread]write to file C:\Program Files\goagent-3.0\local\ip.txt ok,count:0
[MainThread]sort C:\Program Files\goagent-3.0\local\ip_tmpok.txt file ok

一直在扫描，我看ip_tmpok.txt里面的ip数都好几千了，还在继续搜IP，扫了几个下午都没停下来，这是个啥问题？

Hi developer!
目前已经无法搜索到good ip，请检查，thks

gvs ip扫出来后，一个个复制进去goagent配置文件很不方便

能不能添加IPV6地址检测呢？

但这个程序只扫gws，漏掉了很多IP。

公司网络，需要设置代理才能连外网。可以设置前置代理，用这个工具吗？怎么设置？谢谢！

gogo-tester：
https://bitbucket.org/arbiterazzvx/gogo-tester/src/?at=2.2

google-ip-explorer：
https://github.com/PeerXu/google-ip-explorer

如题，第一次用这个软件查找IP，发现大部分是100-200多MS，第二次查找就发现200-300多，第三次依次增多，现在查下来大部分是2000毫秒了。这个怎么回事，需要在哪里设置吗

Goagent终于可以飞快了。

\checkgoogleip-master\python27.exe"' 不是内部或外部命令，也不是可运行的程序
或批处理文件。
请按任意键继续. . .

求解....

运行批命令，每次只扫出来50个结果，如果我想让它每次扫出300个，怎么样能办到？

调到750、950挂过两晚上，然后发现没有检查多少ip，就几万
不知道大家有没有？

https://github.com/goagent/goagent/pull/71

checkgoogleip 也有这个问题，能不能解决一下？

下载以后:启动时候报错,放在goagent一样也会报错.

Traceback (most recent call last):
  File "checkip.py", line 42, in <module>
    monkey.patch_all(Event=True)
TypeError: patch_all() got an unexpected keyword argument 'Event'

越来越高，看着都恐怖:)
Imgur

194.78.99.123 -3921 google.com gws

144.131.80.222 -3859 google.com gws

只有我一个人出现这样的？

扫描很快，一会儿就出来一堆可用的地址，放进去之后goagent也说是good ip，但是打开网页时提示：

The request method POST is inappropriate for the URL /_gh/. That’s all we know

是不是在判断ip是否可用时还要加一些条件？

身在教育网，有原生ipv6，但是苦于找不到正确的ipv6地址，希望能加一个扫描ipv6地址的功能。

比如38.26.0.0 - 38.27.127.255，这段IP用随机话，会漏很多

IP不停地扫下去，那个设置不起作用了，我设g_maxhandleipcnt = 10或者设置为g_maxhandleipcnt = 200，都不起作用，程序无法停止，直到我按CTR+C

61.113.12.26 1031 gwsrv.ticstage.co.jp
108.59.50.82 1391 magik.trngws.dcs.in.gov
122.248.245.155 578 *.ciggws.net
122.248.247.89 1188 *.ciggws.net
160.96.2.63 1985 internet-stg.gwsx.gov.sg
160.96.2.67 1797 www.gwsx.gov.sg
175.41.131.13 531 *.ciggws.net
175.41.133.26 500 *.ciggws.net
175.41.140.160 750 *.ciggws.net
175.41.140.254 563 *.ciggws.net
175.41.146.34 781 *.ciggws.net
192.200.179.40 1063 www.gwsupplyco.com
203.116.15.206 484 secure1.cgwstage.com
203.116.82.37 563 vpngwsgems.mindef.gov.sg
212.113.20.244 2344 gentingws.acteol.co.uk
219.117.205.118 704 rdgws.iwink.jp

问题与求助

大的 IP 地址段如 15.0.0.0-23.15.255.255 有 1.3 亿 IP 地址包含于其中，我的内存扫不到四分之一就满负荷，以至于无法完成此 IP 段的扫描，可否提供减少内存占用的方法？

我想到的解决方案

• 方案 1

  拆分 IP 段，把大段 IP 地址拆分成 15.0.0.0-15.1.0.0, ..., 23.15.1.255-23.15.255.255 这样无数个小 IP 段并把它们写到一个文件内，每次只测其中一个 IP 段，测完后清空内存

• 方案 2

  去掉 temp*.txt 内容留在内存中的功能， IP 地址按从小到大的顺序测

两个月前的那个问题了，主要还是想找谷歌原生IP。很多非google.com的IP都可以用作gae代理ip。填在ssldomain()里面就可以了么？

做了一个集成ip自动搜索的GoAgent，方便使用:
https://github.com/XX-net/XX-Net

北京·联通。

找出来的ip（每次不太一样，但大部分差不多）：

210.242.125.35|218.189.25.166|210.242.125.44|218.189.25.180|210.242.125.20|210.242.125.59|61.219.131.114|61.19.1.55|61.19.1.99|64.233.183.50|203.66.124.241|64.233.181.60|111.168.255.173|64.233.182.114|210.139.253.123|64.233.183.72|173.194.123.99|210.153.73.40|64.233.171.100|64.233.181.76|106.162.192.167|74.125.31.36|64.233.165.78|64.233.183.39|64.233.185.84|64.233.165.142|64.233.171.114|64.233.165.75|64.233.185.87|173.194.118.186|64.233.186.112|106.162.192.158|64.233.171.148|74.125.31.37|74.125.31.40|61.19.1.93|74.125.31.53|173.194.72.53|74.125.200.54|210.153.73.44|74.125.31.43|74.125.31.60|64.233.164.105|74.125.31.38

放到goagent里面，仍然全部create_ssl_connection的时候return SysCallError(-1, 'Unexpected EOF')。good_ipaddrs一直为0。有什么办法吗？GA 3.1.19