简单推荐系统应用,做了用户行为跟踪,master-slave架构,基于hbase数据存储,依赖下面多个模块:
- 请求经过spring mvc接收之后,经过简单过滤,直接发送到Kafka
- 分布式进程从Kafka中读取数据,发送到leader处理整型数值映射,产生一个用户矩阵,发送到HBase存储
- Spark进程从HBase中拿到矩阵数据,应用简单的协同过滤算法算出相似度结果,数据推到Hbase或者Redis中供外部服务调用
-
hbase:
create 'u2itable','info'
create 'userItem','item' -
kafka:
topic -> rec-system
./kafka-console-consumer.sh --topic rec-system --zookeeper one.3cgg.rec:2181 --from-beginning