运行dpark出现奇怪现象 about dpark HOT 8 CLOSED

log 本身正常，是卡在这里不动了？

from dpark.

@ellenzhu 最好贴一下代码，方便复现问题

from dpark.

感觉就是卡住了。这是代码：
import json
import dpark
import os

path = "attack_logs/"
files = os.listdir(path)
list = []

def select_matches(dict):
if 'matches' in dict.keys(): return dict['matches']
else: return dict['time']

def analysis_id():
for file in files:
with open("attack_logs/" + file) as f:
line = f.readlines()
for i in line:
list.append(json.loads(i))
d1 = dpark.makeRDD(list).map(select_matches).map(lambda x: (x,1)).reduceByKey(lambda x,y : x+y)
print d1.collect()

if name == "main":
analysis_id()

from dpark.

@ellenzhu 用你给的代码，没有复现问题

from dpark.

@ariesdevil 难道是机器的问题。。。？另一台机器也没问题

from dpark.

@ellenzhu 有可能是机器上的 python 相关的问题

from dpark.

我用python3.6.1安装的，然后运行环境是2.7.5

from dpark.

@ellenzhu 这个跟项目无关了，麻烦自己找一下原因吧。

from dpark.