The biq-data-backend from ryota-murakami

開発→デプロイフローの構築

アプリケーション全体のクラスタをdockerで表現する方法を調べる
開発環境 → Staging環境 → 本番環境へのデプロイをAWS用いて最も手軽に行える方法を考える
デプロイフローに合わせて各環境のインフラ構成を調整する

考える事

dockerfileは使いたくない。ローカルやCI上でプロビジョン済みのコンテナイメージを各環境にpullする方式にしたい。
docker-composeやteraform上でwebとsparkクラスタは分ける方が良い？
docker composeで開発環境を構築する方法は分かるが、開発したコードをコンテナイメージにビルドする方法は？
→ A. アプリケーションコードは実行環境のコンテナとは別に、githubベースで管理する。
RDSやElastic Cacheの代替はどうやってローカル環境に用意する
→ A. RDSやElastic Cacheは高いので使わ無い方針で....

インフラ設計(基本的枠組み)

デプロイフローも含めた最終的なインフラ構成は後に詰める

kuromojiで謎のアラビア文字のようなものがコンソールに出力されるのを直す

概要

このページのコードをコピペして動かしてみたんだけどアラビア文字コンソール出力に出てしまう。http://www.intellilink.co.jp/article/column/bigdata-kk01.html
これを直したい。

コンソール出力している部分のコードは以下の様になっているから、文字列の末尾にアラビア文字みたいなのが表示されるのは普通に見ておかしい。

topList.foreach{case (count, tag) => println(s"$tag ($count tweets)")}

調査ログ

文字コードの設定はどうなってる？

A. ちゃんとUTF-8になっている。もちろんソースファイルもUTF-8。

ryota.murakami@murakami ~/r/twitterpulse> activator console
[info] Loading project definition from /Users/ryota.murakami/repository/twitterpulse/project
[info] Updating {file:/Users/ryota.murakami/repository/twitterpulse/project/}twitterpulse-build...
[info] Resolving org.fusesource.jansi#jansi;1.4 ...
[info] Done updating.
[info] Set current project to otkm (in build file:/Users/ryota.murakami/repository/twitterpulse/)
[info] Updating {file:/Users/ryota.murakami/repository/twitterpulse/}twitterpulse...
[info] Resolving jline#jline;2.12 ...
[info] Done updating.
[info] Compiling 1 Scala source to /Users/ryota.murakami/repository/twitterpulse/target/scala-2.11/classes...
[info] Starting scala interpreter...
[info] 
import main._
Welcome to Scala version 2.11.2 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_92).
Type in expressions to have them evaluated.
Type :help for more information.

scala> scala.io.Codec.default.charSet
res0: java.nio.charset.Charset = UTF-8

scala>

kuromojiで生成された変数をprintln()から外したらどうなる？

A. アラビア文字っぽいのは出なくなった。kuromojiが原因の可能性が高い。

コード

            //topList.foreach{case (count, tag) => println(s"$tag ($count tweets)")}
            topList.foreach{case (count, tag) => println("tag (count tweets)")}

出力

16/12/13 19:58:53 INFO TwitterStreamImpl: Establishing connection.
16/12/13 19:58:53 INFO TwitterStreamImpl: Establishing connection.
¥n Popular topics in last 60*60 seconds (2091 words):
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)
tag (count tweets)

やっぱりアラビア語？

unicorde番号調べてたらやっぱりアラビア語っぽい。
以下ページの06番台の文字がリストに格納されている。
https://ja.wikipedia.org/wiki/Unicode%E4%B8%80%E8%A6%A7_0000-0FFF

ryota-murakami / biq-data-backend Goto Github PK

biq-data-backend's Introduction

biq-data-backend's People

Contributors

Watchers

biq-data-backend's Issues

考える事

概要

調査ログ

文字コードの設定はどうなってる？

kuromojiで生成された変数をprintln()から外したらどうなる？

やっぱりアラビア語？

TwitterStreamからアラビア語のツイートも取得されているようなので、これが結果のリストに含まれているのでは？

なんかタイ語も取れてるwしかも「ひらがなが含まれているツイートのみ」入るはずのif文を通過しているぞ

ひらがなが含まれていないのに「ひらがなが含まれているツイートのみ」if文がtrueになってるぞ！

Recommend Projects

Recommend Topics

Recommend Org