moses-smt / mosesdecoder Goto Github PK

Moses, the machine translation system

License: GNU Lesser General Public License v2.1

C++ 59.68% CMake 0.09% Shell 2.88% Python 4.63% Makefile 1.87% Perl 10.58% C 13.89% HTML 2.80% CSS 0.14% PHP 0.86% Java 0.06% E 0.01% Forth 0.01% nesC 0.01% Emacs Lisp 0.11% JavaScript 1.01% XSLT 0.01% Ruby 0.01% Assembly 0.07% Smalltalk 1.31%

mosesdecoder's Introduction

Instructions for building and installing Moses are online:

   http://www.statmt.org/moses/?n=Development.GetStarted

Questions should be directed to the mailing list (don't forget to register before sending emails):
   http://mailman.mit.edu/mailman/listinfo/moses-support

Some of the code is not originally part of Moses, but is periodically copied
into the source tree from elsewhere:

 * "bjam-files" is taken from Boost.
 * "util" and "lm" are taken from KenLM: https://github.com/kpu/kenlm

mosesdecoder's People

Contributors

Stargazers

Watchers

Forkers

kpu hypertornado bhaddow arianna-bis nickruiz gengo nlphacker marwenazouzi edwardgao lefterav cfedermann talltoon loicbarrault nicexw mtfelix bpartridge jonathanmcc jhclark rohitguptacs cuadros proycon ianj-als wlin12 kthguru mokerjoke kitton ilucifer avmb mibamur davvil applied-language-solutions dywszaka galateas z-rahimi tihanyi nadirdurrani brunobpb kalep panyang svendeswan jpuigcerver greatqin yuqing0131 eagles2f doquyen9292 felipc mnadejde rsennrich zzmjohn oscargbadou1989 dynotes neubig eduardovalenzue dallas1109 vibster sfu-natlang nm3mon cnasri katsuhitosudoh hitokazm jgwinnup mouxiaofeng wumiyang binaryblob kev216 redpony jiejiang cdoru mjpost junfeiguo melvinj dmavroeidis shannonyu zhdfirst sonofhu onia pengli09 jnory arvs akartbayev zero1986618 lixiangnlp batman2013 guptarah dgalron mibrahim buhomecanico yanggao1119 zouguangxian henohocum sih4sing5hong5 gorinars akholy bartvm fbougares 1o-1o debo55 haozha111 parthg shashwatup9k

mosesdecoder's Issues

regtest submodule pointed at http: instead of https:

The regtest submodule (in .gitmodules) is pointing to http://github.com/moses-smt/moses-regression-tests, which fails for me (git hangs). I'm not sure if this is a problem for everybody or just me. When I change it to https, everything works peachy.

build instructions

There are no build instructions in the BUILD-INSTRUCTIONS.txt file in the 3.0 release (it seems a placeholder crept through). The getting started guide refers to these.

Build failure on fedora 20

Hi,

There are some linking issues with system boost on Fedora Linux 20. Adding:

<library>boost_filesystem

to Jamroot fixes the issue.

Remove unnecessary null pointer checks

An extra null pointer check is not needed in functions like the following.

scripts/ems/support/reuse-weights.perl no longer working

scripts/ems/support/reuse-weights.perl is not working.

With the new format, all weights are in a part [weights] in moses.ini, but this script is still expecting them in [weights-XY] part.

Compilation error

Hello,

I'm trying to compile the source code but I'm getting two compilation errors:

ScoreFeatureTest.cpp:(.text.startup+0xb): undefined reference to `boost::unit_test::unit_test_main(bool ()(), int, char*)'
moses-cmd/Main.cpp:200:53: error: no match for ‘operator=’ in ‘hypergraphDir = boost::filesystem3::path::filename() const()’

Compiler: GCC 4.6.3
OS: Ubuntu Linux 12.10 (64bits)
Last commit: 3a4e63c

Any help to solve this problem will be really appreciated,
Thanks!

PS: Here I post the full output of bjam:

$ bjam --with-srilm=/home/joapuipe/upv/miarfid/ta/tools/srilm --with-giza=/home/joapuipe/upv/miarfid/ta/tools/bin -j4 debug-symbols=off
warning: No toolsets are configured.
warning: Configuring default toolset "gcc".
warning: If the default is wrong, your build may not work correctly.
warning: Use the "toolset=xxxxx" option to override our guess.
warning: For more configuration options, please consult
warning: http://boost.org/boost-build2/doc/html/bbv2/advanced/configuration.html
...patience...
...found 3374 targets...
...updating 6 targets...
gcc.link phrase-extract/bin/ScoreFeatureTest.test/gcc-4.6/release/link-static/threading-multi/ScoreFeatureTest
phrase-extract/bin/ScoreFeatureTest.test/gcc-4.6/release/link-static/threading-multi/ScoreFeatureTest.o: In function `main':
ScoreFeatureTest.cpp:(.text.startup+0xb): undefined reference to `boost::unit_test::unit_test_main(bool (*)(), int, char**)'
collect2: ld returned 1 exit status

    "g++"    -o "phrase-extract/bin/ScoreFeatureTest.test/gcc-4.6/release/link-static/threading-multi/ScoreFeatureTest" -Wl,--start-group "phrase-extract/bin/ScoreFeatureTest.test/gcc-4.6/release/link-static/threading-multi/ScoreFeatureTest.o" "phrase-extract/bin/ScoreFeatureTest.test/gcc-4.6/release/link-static/threading-multi/PhraseAlignment.o" "phrase-extract/bin/ScoreFeatureTest.test/gcc-4.6/release/link-static/threading-multi/ThreadPool.o" "phrase-extract/bin/gcc-4.6/release/link-static/threading-multi/HoleCollection.o" "phrase-extract/bin/gcc-4.6/release/link-static/threading-multi/SyntaxTree.o" "phrase-extract/bin/gcc-4.6/release/link-static/threading-multi/ExtractedRule.o" "phrase-extract/bin/gcc-4.6/release/link-static/threading-multi/SentenceAlignmentWithSyntax.o" "phrase-extract/bin/gcc-4.6/release/link-static/threading-multi/SentenceAlignment.o" "phrase-extract/bin/gcc-4.6/release/link-static/threading-multi/domain.o" "phrase-extract/bin/gcc-4.6/release/link-static/threading-multi/InputFileStream.o" "phrase-extract/bin/gcc-4.6/release/link-static/threading-multi/OutputFileStream.o" "phrase-extract/bin/gcc-4.6/release/link-static/threading-multi/XmlTree.o" "phrase-extract/bin/gcc-4.6/release/link-static/threading-multi/AlignmentPhrase.o" "phrase-extract/bin/gcc-4.6/release/link-static/threading-multi/tables-core.o" "phrase-extract/bin/gcc-4.6/release/link-static/threading-multi/ScoreFeature.o" "util/bin/gcc-4.6/release/link-static/threading-multi/read_compressed.o" "util/double-conversion/bin/gcc-4.6/release/link-static/threading-multi/diy-fp.o" "util/double-conversion/bin/gcc-4.6/release/link-static/threading-multi/double-conversion.o" "util/double-conversion/bin/gcc-4.6/release/link-static/threading-multi/fixed-dtoa.o" "util/double-conversion/bin/gcc-4.6/release/link-static/threading-multi/fast-dtoa.o" "util/double-conversion/bin/gcc-4.6/release/link-static/threading-multi/strtod.o" "util/double-conversion/bin/gcc-4.6/release/link-static/threading-multi/bignum.o" "util/double-conversion/bin/gcc-4.6/release/link-static/threading-multi/cached-powers.o" "util/double-conversion/bin/gcc-4.6/release/link-static/threading-multi/bignum-dtoa.o" "util/bin/gcc-4.6/release/link-static/threading-multi/bit_packing.o" "util/bin/gcc-4.6/release/link-static/threading-multi/ersatz_progress.o" "util/bin/gcc-4.6/release/link-static/threading-multi/exception.o" "util/bin/gcc-4.6/release/link-static/threading-multi/file.o" "util/bin/gcc-4.6/release/link-static/threading-multi/file_piece.o" "util/bin/gcc-4.6/release/link-static/threading-multi/mmap.o" "util/bin/gcc-4.6/release/link-static/threading-multi/murmur_hash.o" "util/bin/gcc-4.6/release/link-static/threading-multi/pool.o" "util/bin/gcc-4.6/release/link-static/threading-multi/scoped.o" "util/bin/gcc-4.6/release/link-static/threading-multi/string_piece.o" "util/bin/gcc-4.6/release/link-static/threading-multi/usage.o"  -Wl,-Bstatic -lboost_unit_test_framework-mt -llzma -lbz2 -ltcmalloc_minimal -lboost_system-mt -lboost_thread-mt -lz -lboost_iostreams-mt -Wl,-Bdynamic -lSegFault -lrt -Wl,--end-group -pthread 


...failed gcc.link phrase-extract/bin/ScoreFeatureTest.test/gcc-4.6/release/link-static/threading-multi/ScoreFeatureTest...
...skipped <pphrase-extract/bin/ScoreFeatureTest.test/gcc-4.6/release/link-static/threading-multi>ScoreFeatureTest.run for lack of <pphrase-extract/bin/ScoreFeatureTest.test/gcc-4.6/release/link-static/threading-multi>ScoreFeatureTest...
gcc.compile.c++ moses-cmd/bin/gcc-4.6/release/link-static/threading-multi/Main.o
moses-cmd/Main.cpp: In member function ‘virtual void MosesCmd::TranslationTask::Run()’:
moses-cmd/Main.cpp:200:53: error: no match for ‘operator=’ in ‘hypergraphDir = boost::filesystem3::path::filename() const()’
moses-cmd/Main.cpp:200:53: note: candidates are:
/usr/include/c++/4.6/bits/basic_string.h:541:7: note: std::basic_string<_CharT, _Traits, _Alloc>& std::basic_string<_CharT, _Traits, _Alloc>::operator=(const std::basic_string<_CharT, _Traits, _Alloc>&) [with _CharT = char, _Traits = std::char_traits<char>, _Alloc = std::allocator<char>, std::basic_string<_CharT, _Traits, _Alloc> = std::basic_string<char>]
/usr/include/c++/4.6/bits/basic_string.h:541:7: note:   no known conversion for argument 1 from ‘boost::filesystem3::path’ to ‘const std::basic_string<char>&’
/usr/include/c++/4.6/bits/basic_string.h:549:7: note: std::basic_string<_CharT, _Traits, _Alloc>& std::basic_string<_CharT, _Traits, _Alloc>::operator=(const _CharT*) [with _CharT = char, _Traits = std::char_traits<char>, _Alloc = std::allocator<char>, std::basic_string<_CharT, _Traits, _Alloc> = std::basic_string<char>]
/usr/include/c++/4.6/bits/basic_string.h:549:7: note:   no known conversion for argument 1 from ‘boost::filesystem3::path’ to ‘const char*’
/usr/include/c++/4.6/bits/basic_string.h:560:7: note: std::basic_string<_CharT, _Traits, _Alloc>& std::basic_string<_CharT, _Traits, _Alloc>::operator=(_CharT) [with _CharT = char, _Traits = std::char_traits<char>, _Alloc = std::allocator<char>, std::basic_string<_CharT, _Traits, _Alloc> = std::basic_string<char>]
/usr/include/c++/4.6/bits/basic_string.h:560:7: note:   no known conversion for argument 1 from ‘boost::filesystem3::path’ to ‘char’

    "g++"  -ftemplate-depth-128 -O3 -finline-functions -Wno-inline -Wall -pthread  -DKENLM_MAX_ORDER=6 -DLM_SRI -DMAX_NUM_FACTORS=4 -DNDEBUG -DTRACE_ENABLE=1 -DWITH_THREADS -D_FILE_OFFSET_BITS=64 -D_LARGE_FILES  -I"." -I"moses/TranslationModel/DynSAInclude" -I"util/double-conversion" -c -o "moses-cmd/bin/gcc-4.6/release/link-static/threading-multi/Main.o" "moses-cmd/Main.cpp"

...failed gcc.compile.c++ moses-cmd/bin/gcc-4.6/release/link-static/threading-multi/Main.o...
...skipped <pmoses-cmd/bin/gcc-4.6/release/link-static/threading-multi>moses for lack of <pmoses-cmd/bin/gcc-4.6/release/link-static/threading-multi>Main.o...
...skipped <p/home/joapuipe/upv/miarfid/ta/tools/moses/bin>moses for lack of <pmoses-cmd/bin/gcc-4.6/release/link-static/threading-multi>Main.o...
...failed updating 2 targets...
...skipped 4 targets...

util/mmap.cc doesn't compile with a Linux kernel older than 2.6.38

Line 209 in util/mmap.cc refers the symbol MADV_HUGEPAGE, which is available only for a Linux kernel later than 2.6.38. (Ref. http://linux.die.net/man/2/madvise) Compilation fails with older kernels. CentOS 6 still uses such kernel for example.

There is another reference to MADV_HUGEPAGE in util/mmap.cc but it is guarded by #ifdef. I think it is better to guard the above bare reference in a similar way.

reserved identifier violation

I would like to point out that identifiers like "LM_WORD_INDEX__" and "__UG_STREAM_HH" do not fit to the expected naming convention of the C++ language standard.
Would you like to adjust your selection for unique names?

train-model.perl not working out-of-the-box

When i tried the following on Ubuntu 14.10:

# Make a test directory
mkdir test-out-of-box
cd test-out-of-box/

# Get Europarl DE-EN corpus
wget http://opus.lingfil.uu.se/Europarl/wordalign/de-en/de -O Europarl.de-en.de
wget http://opus.lingfil.uu.se/Europarl/wordalign/de-en/en -O Europarl.de-en.en

# Download Out-of-the-box pre-compiled training-tools
wget -r --no-parent http://www.statmt.org/moses/RELEASE-3.0/binaries/linux-64bit/training-tools/
mv www.statmt.org/moses/RELEASE-3.0/binaries/linux-64bit/training-tools/ .
rm training-tools/index*
rm -rf www.statmt.org/

# Download `train-model.perl`
wget http://www.statmt.org/moses/RELEASE-3.0/binaries/linux-64bit/scripts/training/train-model.perl
wget http://www.statmt.org/moses/RELEASE-3.0/binaries/linux-64bit/scripts/training/LexicalTranslationModel.pm

# Test run to ensure perl script recognize training tools directory
perl train-model.perl -external-bin-dir training-tools/ -mgiza

It throws the error:

Using SCRIPTS_ROOTDIR: /home/alvas/test-out-of-box
Using multi-thread GIZA
ERROR: Cannot find /home/alvas/test-out-of-box/training-tools/merge_alignment.py at train-model.perl line 285

When I tried the full path:

perl train-model.perl -external-bin-dir /home/alvas/test-out-of-box/training-tools/ -mgiza

It throws the same error.

Any clues to why this happens?

For diagnostics, here's the directory structure:

alvas@ubi:~/test-out-of-box$ ls
Europarl.de-en.de  Europarl.de-en.en  LexicalTranslationModel.pm  training-tools  train-model.perl

alvas@ubi:~/test-out-of-box$ cd training-tools/
alvas@ubi:~/test-out-of-box/training-tools$ ls
d4norm  hmmnorm  merge_alignment.py  mgiza  mkcls  plain2snt  snt2cooc  snt2coocrmp  snt2plain  symal

alvas@ubi:~/test-out-of-box/training-tools$ head merge_alignment.py 
#!/usr/bin/env python
# Author : Qin Gao
# Date   : Dec 31, 2007
# Purpose: Combine multiple alignment files into a single one, the files are
#          prodcuced by MGIZA, which has sentence IDs, and every file is 
#          ordered inside

from __future__ import unicode_literals
import sys
import re

'unit_test_main' failure when compiling statically

When compiling statically (the --static and link=static options), the unit tests are still compiled with -DBOOST_TEST_DYN_LINK, which causes them to reference boost::unit_test::unit_test_main(bool (*)(), int, char**), but during linking an error is produced:

phrase-extract/ScoreFeatureTest.cpp:(.text+0x4f): undefined reference to 'boost::unit_test::unit_test_main(bool ()(), int, char*)`

...because the static unit_test_framework library (libboost_unit_test_framework.a) has a different function signature for unit_test_main.

I'm running bjam -d+2 -q link=static --static --threading=multi variant=release --with-boost=/path/to/boost

At the start of compilation, I get:

Performing configuration checks

Shared Boost : yes

Static Boost : no

So I deleted all of shared library files from my Boost installation, and re-compiled. It gave a 'no' for 'Shared Boost' and a 'yes' for 'Static Boost', but it sill puts the -DBOOST_TEST_DYN_LINK in there and fails at the same spot.

compile error in last trunk snapshot

I've tried to compile snapshot 7e359a8 but I got compile error.

Compile command: ./bjam --with-xmlrpc-c=$HOME/local/ --with-cmph=$HOME/local/ --with-tcmalloc --install-scripts=$HOME/local/moses --enable-boost-pool -j16
Also I've tried ./bjam witho no other option but unsuccessfull.
Error log syas that:

phrase-extract/domain.h:37:21: error: ‘PhraseAlignment’ does not name a type

I've added #include "PhraseAlignment.h" to phrase-extract/domain.h then I get following errors:

phrase-extract/domain.cpp: In member function ‘virtual void MosesTraining::DomainFeature::add(const MosesTraining::ScoreFeatureContext&, std::vector&, std::mapstd::basic_string<char, float>&) const’:
phrase-extract/domain.cpp:64:40: error: ‘const class MosesTraining::ExtractionPhrasePair’ has no member named ‘size’
phrase-extract/domain.cpp:65:65: error: no match for ‘operator[]’ in ‘context.MosesTraining::ScoreFeatureContext::phrasePair[i]’
phrase-extract/domain.cpp:67:44: error: no match for ‘operator[]’ in ‘context.MosesTraining::ScoreFeatureContext::phrasePair[i]’
phrase-extract/domain.cpp:69:45: error: no match for ‘operator[]’ in ‘context.MosesTraining::ScoreFeatureContext::phrasePair[i]’
phrase-extract/domain.cpp:72:28: error: ‘const struct MosesTraining::ScoreFeatureContext’ has no member named ‘count’

So I've tried to temporarily supres this error by commenting lines 63-72 in phrase-extract/domain.cpp

now I get several linking errors:

phrase-extract/bin/gcc-4.7/release/debug-symbols-on/link-static/threading-multi/PhraseAlignment.o: In function MosesTraining::PhraseAlignment::create(char*, int, bool)': phrase-extract/PhraseAlignment.cpp:92: undefined reference toMosesTraining::vcbS'
phrase-extract/PhraseAlignment.cpp:96: undefined reference to `MosesTraining::vcbT'

Weirdness in tokenizer.perl for words ending in dot followed by lowercase letters

Hello,

I'm quite new to the field but noticed a weirdness when tokenizing french sentences using the script provided. Here's the minimum problematic case from a parallel corpora:

echo "Dans tes yeux calculateurs Les chiffres défilent tu ne peux pas me voir. tu ne peux pas me voir..." | tokenizer.perl -l fr

Dans tes yeux calculateurs Les chiffres défilent tu ne peux pas me voir. tu ne peux pas me voir ...

A simpler test:

echo "tu ne peux pas me voir.  blabla" | tokenizer.perl -l fr

tu ne peux pas me voir. blabla

So as you may noticed it doesn't tokenize the dot after the verb "voir" if the following character is a lowercase. This is the line 330 of the function tokenize in the script. What's the rationale behind that lowercase check? Also happens with English:

echo -n "I don't understand your reactions. weird." | tokenizer.perl -l en

I don &apos;t understand your reactions. weird .

Thank you!

XML-RPC multithreading seems broken

When trying to feed Moses via XML-RPC with 32 sentences to translate in parallel, it returns occasional duplicates. Depending on the method to do the threading in Python, sometimes Moses blocks on and never replies to XML-RPC requests.

Standalone Python3 script to feed XML-RPC and trigger this bug:
http://pastebin.com/fJdGQywq

Moses config (pretty straightforward, CBPT enabled [1]).
http://pastebin.com/rmtLdxFg

Script results (32 lines, but note the duplicates):
http://pastebin.com/1E42ngD7

Expected script results (no duplicates):
http://pastebin.com/gRZ1QuGa

(obtained without threading, by waiting for each request as follows)

for l in emea_en[0:32]:
    t = threading.Thread(target=translate_thread, args=(l,))
    t.start()
    t.join()

[1] http://www.statmt.org/moses/?n=Advanced.CacheBased

KenLM num-features other than 1 not working

At least for KenLM, the modifications to moses/LM/Base.cpp from commit e36fb96 mangle the num-features parameter.

Previously, it would call the parent StatefulFeatureFunction constructor with the minimum number of features (with OOV enabled, it would pass in 2, otherwise 1), which would be overridden by the call to FeatureFunction::ParseLine. Now, it calls the StatefulFeatureFunction constructor and then sets m_numScoreComponents to 2 or 1.

I'm assuming this is trying to add an extra feature for the OOV. Given that FeatureFunction defaults m_numScoreComponents to 1, could it be changed to:

if(m_enableOOVFeature) {
    this->m_numScoreComponents++;
    this->m_numTuneableComponents = this->numScoreComponents;
}

kbmira with meteor-1.5.jar is broken

OS: linux 64 bit
gcc version: 4.4.7
Moses version: latest github 384e0b0

The following command, as part of the mert tunning,

/path/to/kbmira -J 200 --sctype METEOR --scconfig jar:path-to-meteor.jar --dense-init run1.dense  --ffile run1.features.dat --scfile run1.scores.dat -o mert.out > run1.mira.out 2> mert.log

will hang with meteor-1.5.jar at around 13 iterations, but OK with meteor-1.4.jar.

kbmira is constantly waiting on the following line:

https://github.com/moses-smt/mosesdecoder/blob/master/mert/MeteorScorer.cpp#L140

The data to run the commands can be downloaded at

https://www.dropbox.com/s/2z5ne8fb4gt8exk/data.tgz?dl=0

Hindi support for tokenizer.perl

Will there be an upcoming hindi support for tokenizer.perl? Details on http://stackoverflow.com/questions/27669446/statistical-machine-translation-from-hindi-to-english-using-moses

Multithreading is broken for hierarchical Moses

Hierarchical multithreading appears to be broken (haven't tested with phrase-based). For the big picture, here is a plot of decoding times with Moses for a large German-English grammar (Europarl + Common Crawl) and three large LMs on a 64-core machine:

The saturation point is reached pretty quickly --- around 16 threads.

Looking at the log files, I see that, with 1 thread, the maximum reported sentence-level decoding time (newstest2012) is about 6 seconds, and with 48 threads, it is over 3,000 seconds. Also, the logfile with large thread counts does not contain the logging output for all sentences.

I suspect there is a problem with your locking!

Compilation fails when OxLM enabled

Commit dcb8e5d seems to have broken OxLM support (--with-oxlm option).
The error (icc) is:

  moses/LM/oxlm/OxLM.cpp(181): error: no suitable user defined conversion from "boost::shared_ptr<Moses::InputType>" to "const Moses::InputType" exists

moses/LM/oxlm/SourceOxLM.cpp has the same issue on line 106 (and also should change ttasksptr to ttask). Line 107 passes two parameters to BilingualLM::InitializeForInput, which can only accept one parameter.

If I use gcc, the error is: moses/LM/oxlm/OxLM.cpp:181:34: error: invalid use of incomplete type 'class Moses::TranslationTask'.

simulate-pe.cc out of sync

It looks like moses-cmd/simulate-pe.cc needs to be updated with all the changes from the moses-cmd and IOWrapper merges. Right now moses doesn't compile with --with-mm.

Unclear on OxLM integration

In trying to enable Oxford LM integration, I ran into compilation problems relating to incorrect/missing functions on the 'oxlm::Model' object (namely: oxlm::Model::getDict and oxlm::Model::predict). I had assumed that I should be using the OxLM from @pauldb89, since he wrote the integration code here in moses, but it is missing these functions. Should I be using some other version of OxLM?

ttable-limit incorrect for value 0

Comments in moses.ini files (e.g., $MOSES/scripts/regression-testing/tests/mert-moses-new/moses.ini) claim that a ttable-limit of 0 means no limit, but in fact it seems to actually load 0 items.

Loading table into memory...^@Exception: vector::_M_range_check

I am having this error, and I could not find an answer from google. Could you tell me what might possibly went wrong ?
$ moses -f /tmp/shared/model/moses.ini < /tmp/shared/model/in > /tmp/shared/model/out
Defined parameters (per moses.ini or switch):
config: /tmp/shared/model/moses.ini
distortion-file: 0-0 wbe-msd-bidirectional-fe-allff 6 /tmp/shared/model/reordering-table.wbe-msd-bidirectional-fe.gz
distortion-limit: 6
input-factors: 0
lmodel-file: 0 0 5 /tmp/shared/ch.lm
mapping: 0 T 0
ttable-file: 0 0 0 5 /tmp/shared/model/phrase-table.gz
ttable-limit: 20
weight-d: 0.3 0.3 0.3 0.3 0.3 0.3 0.3
weight-l: 0.5000
weight-t: 0.2 0.2 0.2 0.2 0.2
weight-w: -1
line=SRILM factor=0 order=5 num-features=1 path=/tmp/shared/ch.lm
FeatureFunction: SRILM0 start: 0 end: 0
line=Distortion
Feat

Compilation error in ExportInterface.cpp

I get the following compilation error with the latest version of the code on the git repository:

moses/ExportInterface.cpp: In function ‘int run_as_server()’:
moses/ExportInterface.cpp:147:3: error: ‘MosesServer’ has not been declared
MosesServer::Server server(params);
^
moses/ExportInterface.cpp:148:10: error: ‘server’ was not declared in this scope
return server.run(); // actually: don't return. see Server::run()
^

File not found error in score-parallel.perl

After the command here: https://github.com/moses-smt/mosesdecoder/blob/master/scripts/generic/score-parallel.perl#L171 ran, the file $TMPDIR/phrase-table.half.$numStr.gz is not actually in gzip format, and the script fails to run.

bjam does not link with tcmalloc

Hi, perhaps I am doing something wrong, but tcmalloc library is not getting linked with the default options provided in Jamroot.

In Jamroot, in the line:

requirements += multi:$(tcmalloc)

the variable $(tcmalloc) is blank, so tcmalloc does not get linked. Changing $(tcmalloc) to tcmalloc_minimal (as in RELEASE 1.0 and previous) worked for me.

Improve exception safety with smart pointers

Would you like to wrap any pointer data members with the template class "std::unique_ptr"?

Update candidates:

entropy-pruning mistake

Each time when I used the entropy based pruning method in ~/mosesdecoder-RELEASE-3.0/contrib/relent-filter there will be a mistake as below, even I changed the version to 0.91, the mistake is still there:
Use of uninitialized value $_[0] in substitution (s///) at /usr/share/perl/5.14/File/Basename.pm line 341.
fileparse(): need a valid pathname at /home/tianliang/research/mosesdecoder-RELEASE-3.0/contrib/relent-filter/scripts/calcPruningScores.pl line 140

Dead release links on website

The "Pre-made models" & "Virtual Machines models" links are broken on http://www.statmt.org/moses/?n=Moses.Releases.

train-model.perl fail

It's my command:

/home/tshau/git/mosesdecoder/scripts/training/train-model.perl -root-dir work -corpus /home/tshau/mt -f src -e tgt -alignment grow-diag-final-and -reordering msd-bidirectional-fe -lm 0:2:/home/tshau/tgt.lm --mgiza -external-bin-dir=/home/tshau/bin

And I ran it in 42b53b7.
get

Use of uninitialized value $a in scalar chomp at /home/tshau/git/mosesdecoder-newest/scripts/training/LexicalTranslationModel.pm line 105.
Use of uninitialized value in substitution (s///) at /home/tshau/git/mosesdecoder-newest/scripts/training/LexicalTranslationModel.pm line 40.
Use of uninitialized value in substitution (s///) at /home/tshau/git/mosesdecoder-newest/scripts/training/LexicalTranslationModel.pm line 40.
Use of uninitialized value in substitution (s///) at /home/tshau/git/mosesdecoder-newest/scripts/training/LexicalTranslationModel.pm line 40.
Use of uninitialized value $a in split at /home/tshau/git/mosesdecoder-newest/scripts/training/LexicalTranslationModel.pm line 109.
Use of uninitialized value $a in scalar chomp at /home/tshau/git/mosesdecoder-newest/scripts/training/LexicalTranslationModel.pm line 105.
Use of uninitialized value in substitution (s///) at /home/tshau/git/mosesdecoder-newest/scripts/training/LexicalTranslationModel.pm line 40.
...
...
(7) learn reordering model @ Mon Jun  8 19:49:33 CST 2015
(7.1) [no factors] learn reordering model @ Mon Jun  8 19:49:33 CST 2015
(7.2) building tables @ Mon Jun  8 19:49:33 CST 2015
Executing: /home/tshau/git/mosesdecoder-newest/scripts/../bin/lexical-reordering-score work/model/extract.o.sorted.gz 0.5 work/model/reordering-table. --model "wbe msd wbe-msd-bidirectional-fe"
Lexical Reordering Scorer
scores lexical reordering models of several types (hierarchical, phrase-based and word-based-extraction
terminate called after throwing an instance of 'util::ErrnoException'
  what():  util/file.cc:68 in int util::OpenReadOrThrow(const char*) threw ErrnoException because `-1 == (ret = open(name, 00))'.
No such file or directory while opening work/model/extract.o.sorted.gz
Aborted
Exit code: 134

But the run in 765d8d1 is ok.

mt.src:

Obama 大勝 美國 首位 黑人 總統
駐美 特派員 曹郁芬 華府 報導
歐巴瑪 大勝 美國 首位 黑人 總統 ，
壓倒性 勝利 創造 新歷史 。
**黨 總統 候選人 歐巴瑪 四日 以 壓倒性 勝利 ，
當選 美國 歷史上 首位 黑人 總統 。
他 在 芝加哥 的 勝選 演說中 ，
對著 二十多萬 支持者 宣告 ：
「 改變 已經 來到 美國 」 。
在 已經 開出 的 選票 當中 ，
歐巴瑪 不僅 以 百分之 五十二 ，
大約 六千 兩百 九十六萬票 的 普選票 ；
贏過 共和黨 候選人 麥肯 的 百分之 四十六 ，
大約 五千 五百 七十六萬票 ，
選舉人票 更超越 麥肯 一倍多 。
贏得 這場 最漫長 的 總統 大選 以後 ，
今年 四十七歲 的 歐巴瑪 ，
準備 在 明年 元月 二十日 宣誓 就職 ，
成為 美國 第四十四屆 總統 。
美國 各大 電視網 ，
在 美東 時間 四日 深夜 十一時 宣布 ，
歐巴瑪 的 選舉人 票數 ，
已經 超越 當選 所需要的 二百 七十票 。
守在 芝加哥 競選 總部 ，
和 全國 各地的 歐巴瑪 支持者 ，
頓時 響起 一片 歡呼聲 ，
奮力 揮舞著 國旗 。
許多 支持者 激動到 落淚 ，
大家 相互 擁抱 。
美國 主流 報紙 五日 ，
紛紛 以 「 歐巴瑪 創造 歷史 」 當 標題 ，
宣告 歐巴瑪 成為 美國 白宮 新主人 。
歐巴瑪 的 普選票 得票率 是 Johnson 總統 以來 ，
**黨 總統 候選人 得票 最高的 一次 。
布希 總統 立即 致電 向 歐巴瑪 道賀 。
**黨 在 參眾 兩院 選舉 都是 贏家 ，
在 已經 開出 的 選票 當中 ，
**黨 在 一百席 的 參院 ；
雖然 沒跨過 的 六十席 門檻 ，
但是 已經 取得 五十六席 ，
在 眾院 的 席次 仍舊 增加到 二百 五十二席 。
百名 認養兒 遍佈 全球 他是 聯合國 爸爸
自由時報 記者 楊金城 台南報導
他是 「 聯合國爸爸 」 ，
認養的 兒童 遍及 國內外 ！
台南縣 新營市 大宏里 里長 ，
蔡崇名 小時候 生活困苦 ，
早年 父母 為了 學費 籌錢 的 傷神 表情 。
讓他 發願 認養 兒童 ，
不忍 學生 因為 家貧 因而 失學 ，
這份 愛心 進一步 延伸至 國外 ；
根據 家扶基金會 的 統計 ，
二十一年來 認養的 人數 超過 一百人 ，
捐助 認養 費用 超過 三百萬 。
蔡崇名 目前 還有 十八個 認養兒 ，
還是 國內 、 國外 各半的 乾爹 ，
是 雲嘉南區 最多 乾兒子 的 愛心爸爸 。
家扶中心 社工 和 認養兒 ，
稱呼 他是 「 聯合國 爸爸 」 ，
代表 他的 愛心 不分 海內外 。
更加 重要是 持續 至今 ，
對他 有著 深深 感恩 和 尊敬 。
非洲 、 南美洲 都有 乾兒子 ，
過去 二十一年來 ，
蔡崇名 認養 兒童 總數 超過 一百人 ，
其中 國外 小孩 最遠 住在 非洲 幾內亞 ，
也有 南美洲 巴西 、 印度 、 瓜地馬拉 ，
認養 時間 最久的 是 一位 國內 兒童 ，
已經 將近 二十年 。
對 蔡崇名 來說 ，
孩子的 膚色 雖然 不一樣 ，
但是 都是 他的 寶貝 。
蔡崇名 是 現任 新營市 大宏里 里長 ，
和 新營 公益 慈善 基金會 董事長 。
以前 四個 兄弟 姊妹 小時候 跟著 父母 ，
從 貧苦的 布袋 海邊 搬至 新營 謀生 ，
日子 並不好過 ，
還與 媽媽 在 新營火車站 前面 賣麵 ；
他 回想 小時候 ，
父母 為了 準備 學費的 苦惱 表情 ，
產生 助學 念頭 。
不忍 家貧 小孩 艱苦 的 求學路 ，
二十一年前 剛剛好 母親 身體 不好 ，
他 發願 認養 助學 ，
也 盼望 母親 身體 好起來 。
蔡崇名 以 個人所得 認養 兒童 ，
家扶 請求 支援 和 提供 認養 對象 ，
都是 來者不拒 ，
他說 「 有能力做 ， 就 多做一些 」 ，
他 不要求 回報 ，
最高興的 事情 就是 看到 認養兒 長大 。
蔡崇名 熱心公益 的 善行 ，
今年 被提名 角逐 全國 好人好事 ，
不過 是否 不得獎 已經 不重要 ，
因為 在 認養兒 的 心中 ，
他是 永遠的 「 第一名 」 爸爸 。
** 警察 施暴 學界 串聯 靜坐
記者 范正祥 、 駐歐洲 特派員 胡蕙寧 綜合報導
數百名 經由 網路 串聯 ，
來自 全台灣 各地的 大學生 ，
教授 、 文化 工作者 ，
昨天 自發性 集結於 行政院 大門口 前面 ，
** 傷害 台灣人民 的 基本人權 。
「 著黑衣 、 戴口罩 」 和平的 靜坐 ，
** 警方 於 陳雲林 來台灣 的 這段 時間 ，
維安 執法 過當 表達 最強烈 ** 。
政府 為了 接待 陳雲林 不惜 破壞 台灣的 ** ，
讓人 感到 無法理解 與 不滿 。
英國 台灣協會 對於 馬英九政府 ，
「 只談經濟 、 拋開主權 」 的 態度 ，
要求 馬英九政府 和 行政院長 ，
必須 公開 向 國人 道歉 ，
警政署長 王卓鈞 、 國安局長 蔡朝明 立刻 下台 。
立法院 應該 儘快 修改 ，
限制 人民 權利 的 集會遊行法 。
交通大學 人文社會學系 助理教授 許維德 等等 ，
許多 的 教授 昨日 也 發起 ，
「 捍衛 自由人權 、 ** 警察 暴力 」 的 靜坐 連署 活動 ，
呼應 在 台北的 學界 靜坐 訴求 ，
獲得 很多 教授 及 學生 響應 。
這群 主要 大學生 為主 ，
強調 不是 政黨 或是 團體 動員的 ** 群眾 。
他們 痛批 海協會 代表團 來台灣 短短 幾天 ，
台灣人民 好不容易 建立的 **自由 體制 ，
在 滿城 警力 、 威嚇的 與 強勢的 氛圍中 ，
台灣的 ** 自由 幾近 崩解 。
政府 在 如同 警察國家 的 武裝 保護 裡面 ，
自我陶醉 於 歷史性 儀式的 想像 ，
及 輪番的 酒宴 當中 。
憲法 保障 人民的 自由** 與 行動權利 ，
全被 擱置 、 甚至 忘卻 。
警方 數度 向 ** 學生 舉牌 ，
但是 學生們 並不打算 退場 。
學生們 強調 ，
已經 不是 維安 有無 過當的 技術 問題 ，
也不只是 政黨 認同 選擇的 問題 ，
這是 暴力化 的 國家政權 ，
對 市民 社會的 嚴重 挑釁 和 侵犯 。
難道 要 強化 兩岸 經貿 交流 ，
也 必須 透過 降低 台灣的 ** 自由 程度 ，
來達成 與 中國 同樣 極權統治 的 水準 ？
另外 ， 英國 台灣協會 在 五日 ，
針對 陳雲林 訪台灣 發出 聲明 ** ，
認為 **的 台灣 ，
不容 擅權 違憲 以及 侵犯 自由 與 壓迫 人權 。
行政院 驅離 學生 轉赴 自由廣場 靜坐
記者 林嘉琪 、 陳宣瑜 、 黃建華 、 劉慶侯 綜合報導
「 迎 『 陳 』 如同戒嚴 」 ，
兩百多名 大學師生 與 社運團體 ，
經過 網路 串連 ，
號召 大概 六百人 ，
連續 兩天 在 行政院 前面 靜坐 ，
** 政府 對 中國海協會 會長 陳雲林 ，
進行 高標準的 「 戒嚴式 維安 動作 」 ，
嚴重 侵犯 台灣 民眾 人身自由 。
他們 提出 ，
「 馬 、 劉 道歉 ， 官員 下台 ，
及 立法院 修法 」 等 三大訴求 ，
但是 苦坐 卅小時 之後 ，
不但 未獲得 任何 回應 ，
反而 遭到 大批 警力 連拉帶推 、
又抬又抓 送上 警備車 ，
多數 學生 激動 落淚 。
警方 表示 ，
由於 學生 是從 台大 PTT 集結 ，
因此 把 他們 載回去 台大 。
但是 師生們 隨後 轉往 自由廣場 集結 ，
繼續 ** ，
昨天 深夜 並組成 七人 決策小組 ，
推出 政大 台灣歷史研究所 研究生 嚴婉玲 為首 ，
未來 所有 行動 決策 ，
都由 決策小組 議決 。
台北市 警察局 中正一分局 表示 ，
發起 「 一一Ｏ六 活動 」 的 成員 ，
台大社會系 助理教授 李明璁 和 學生 ，
在 被驅離 以後 轉往 自由廣場 靜坐 ，
因為 目前 不會對 交通 造成 妨礙 ，
或是 喧譁的 情形 ，
警方 舉牌 蒐證 之後 ，
暫時 不會再 驅離 。
但是 「 一一Ｏ六 活動 」 未經過 申請 獲准 ，
本身 就是 違法行為 ，
今天 再視 情況 ，
舉牌 警告 制止 和 蒐證 ，
再依照 違反 集遊法 ，
把 帶頭的 李明璁 函送 地檢署 。
警方 說 昨晚是 徒手 驅離 學生 和 老師 ，
但是 李明璁 出示 驗傷單 指控 ，
警察 暴力 濫權 違法 ，
他說 自己 被 警察 驅離 之後 ，
七 、 八個 警察 圍毆 他 ，
造成 手臂 、 腹部 多處 擦傷 ，
但是 警方 強調 是 平和 把人 抬離 並未打人 。
對 警方 連日 粗暴執法 ，
看不慣 的 這批 師生 ，
前天 自主 動員 集結於 行政院 前面 ，
** 「 人民 匍匐 建立的 **自由 體制 ，
在 陳雲林 來台灣 期間 ，
已經被 這種 滿城 警力 、
政治 威嚇 氛圍 與 強勢的 防堵 ，
破壞到 幾近 崩解 」 ，
學生 提出 三大訴求 ：
「 馬英九 、 劉兆玄 公開 向 國人 道歉 」 、
「 警政署長 王卓鈞 、
國安局長 蔡朝明 下台 」 、
立法院 應該 儘速 修改 ，
限縮 人民 權利的 『 集會遊行法 』 。
學生 在 靜坐 廿六小時 之後 ，
昨天 上午 行政院 秘書長 薛香川 ，
才不願意的 出面 安撫 ，
但是 他 出來 就說 ：
「 政治 是 一時的 ， 不過 做人 卻是 永遠的 。 」
引起 學生 高度 不滿 ，
對他 嗆聲 ： 「 你是不是人？ 」
學生說 ，
如果是人 就應該 懂得 尊重 人權 。
到下午 四點 三十分 ，
警方 第四次 舉牌 之後 展開 驅離 ，
學生 手勾著手 ，
緊緊 坐在一起 ，
口喊 「 和平 、 人權 」 ，
還是 被 警方 一一 抬上 警備車 載離開 。
這個 靜坐 活動 也在 南部 引起 回響 ，
高雄地區 十幾個 大學生 、
高中生 昨晚 前往 高雄市警察局 旁邊 靜坐 ，
表達 聲援 立場 ，
而且 揚言 北上 加入 靜坐 。
美國國會 宣佈 歐巴馬 當選 第四十四任 總統
自由時報報導
美國 國會 今天 正式 確認 ，
二零零八年 十一月 四日 總統大選 選舉 結果 ，
宣佈 歐巴馬 當選 ，
美國 第四十四屆 ，
也是 第五十六任 美國 總統 。
根據 美國 法律 規定 ，
國會 必須 正式 計算 五十州 ，
及 哥倫比亞 特區 選舉人票 ，
然後 正式 宣佈 選舉 結果 。
美國 第一百一十一屆 國會 於 六日 開議 ，
參議院 和 眾議院 今天 舉行 聯席 會議 ，
即將 卸任 的 副總統 錢尼 ，
以 參院 議長 身份 ，
與 眾院 議長 裴洛西 ，
兩人 共同 主持 會議 。
四位 事先 選好 的 國會 議員 ，
上台 宣讀 各州 的 投票 結果 。
錢尼 最後 正式 宣佈 ，
全國 五十州 及 哥倫比亞 特區 ，
共有 五百三十八張 選舉人票 ，
由 贏 超過 二百七十張 選舉人票 的 候選人 ，
當選 第五十六任 美國 總統 。
各州的 選舉人 投票 選舉 結果 ，
伊利諾州 聯邦 參議員 ，
歐巴馬 贏得 三百六十五張 ，
亞利桑那州 聯邦 參議員 ，
馬侃 贏得 一百七十三張 。
歐巴馬 和 競選 搭檔 拜登 ，
分別 當選 總統 和 副總統 。
錢尼 宣佈 之後 ，
全體 參眾議員 起立 鼓掌 致敬 。
由 錢尼 正式 宣佈 的 選舉 結果 文件 ，
未來 會 送到 美國 國家檔案局 保存 ，
然後 讓 國會 官方 出版品 刊登 。

mt.tgt:

Obama toa7-seng3 Bi2-kok thau5-chit8-ui7 ou-lang5 chong2-thong2
chu3-bi2 tek8-phai3-oan5 Cho5-am7-phang hoa5-hu2 po3-to7
Obama toa7-seng3 Bi2-kok thau5-chit8-ui7 ou-lang5 chong2-thong2 ，
ap-to2-seng3 seng3-li7 chhong3-cho7 sin-lek8-su2 。
Bin5-chu2-tong2 chong2-thong2 hau7-soan2-jin5 Obama si3-ho7 i2 ap-to2-seng3 seng3-li7 ，
tong3-soan2 Bi2-kok lek8-su2-siong7 thau5-chit8-ui7 ou-lang5 chong2-thong2 。
i ti7 Chicago e5 seng3-soan2 ian2-soat-tiong ，
tui3-tioh8 ji7-chap8-joa7-ban7 chi-chhi5-chia2 soan-ko3 ：
「 kai2-pian3 i2-keng lai5-kau3 Bi2-kok 」 。
ti7 i2-keng khui-chhut e5 soan2-phio3 tong-tiong ，
Obama m7-na7 i2 pah-hun-chi gou7-chap8-ji7 ，
tai7-khai3 lak8-chheng nng7-pah kau2-chap8-lak8-ban7-phio3 e5 phou2-soan2-phio3 ；
iann5-ke3 Kiong7-ho5-tong2 hau7-soan2-jin5 McCain e5 pah-hun-chi si3-chap8-lak8 ，
tai7-khai3 gou7-chheng gou7-pah chhit-chap8-lak8-ban7-phio3 ，
soan2-ki2-jin5-phio3 koh-chhiau-oat8 McCain chit8-poe7-goa7 。
iann5-tioh8 chit-tiunn5 siang7-lo3-so3 e5 chong2-thong2 tai7-soan2 liau2-au7 ，
kin-ni5 si3-chap8-chhit he3 e5 Obama ，
chun2-pi7 ti7 me5-ni5 it-geh8 ji7-chap8-ho7 soan-se3 chiu7-chit ，
chiann5-cho3 Bi2-kok te7-si3-chap8-si3-kai3 chong2-thong2 。
Bi2-kok kok-toa7 tian7-si7-bang7 ，
ti7 bi2-tang si5-kan si3-ho7 chhim-ia7 chap8-it-tiam2 soan-pou3 ，
Obama e5 soan2-ki2-jin5 phio3-sou3 ，
i2-keng chhiau-oat8 tong3-soan2 sou2-su-iau3-e5 nng7-pah chhit-chap8-phio3 。
siu2-ti7 Chicago keng7-soan2 chong2-pou7 ，
kah choan5-kok kok-te7-e5 Obama chi-chhi5-chia2 ，
hit-si5-chun7 hiang2-khi2 chit8-si3-koe3 hoan-hou-siann ，
he7-mia7 lang7-tioh8 kok-ki5 。
cheng3-che7 chi-chhi5-chia2 kek-tong7-kau3 lau5-bak8-sai2 ，
tak8-ke hou7-siong sio-lam2 。
Bi2-kok chu2-liu5 po3-choa2 gou7-ho7 ，
hun-hun i2 「 Obama chhong3-cho7 lek8-su2 」 cho3 phiau-te5 ，
soan-ko3 Obama chiann5-cho3 Bi2-kok Peh8-kiong sin-chu2-lang5 。
Obama e5 phou2-soan2-phio3 tit-phio3-lut8 si7 Johnson chong2-thong2 i2-lai5 ，
Bin5-chu2-tong2 chong2-thong2 hau7-soan2-jin5 tit-phio3 siang7-koan5-e5 chit8-pai2 。
Bush chong2-thong2 sui5 phah-tian7-oe7 hiann3 Obama kiong-hi2 。
Bin5-chu2-tong2 ti7 Chham-Chiong3 nng7-inn7 soan2-ki2 long2-si7 iann5-e5 ，
ti7 i2-keng khui-chhut e5 soan2-phio3 tong-tiong ，
Bin5-chu2-tong2 ti7 chit8-pah-sek8 e5 Chham-inn7 ；
sui-jian5 bo5-hoah8-ke3 lak8-chap8-sek8 e5 hou7-teng7 ，
tan3-si7 i2-keng chhu2-tit gou7-chap8-lak8-sek8 ，
ti7 Chiong3-inn7 e5 sek8-chhu3 oan-na2 cheng-ka-kau3 nng7-pah gou7-chap8-ji7-sek8 。
pah-mia5 jin7-iong2-ji5 phian3-pou3 choan5-kiu5 i-si7 Lian5-hap8-kok a-pa
Chu7-iu5-si5-po3 ki3-chia2 Iunn5-kim-siann5 Tai5-lam5-po3-to7
i-si7 「 Lian5-hap8-kok a-pa 」 ，
jin7-iong2-e5 ji5-tong5 pian3-kip8 kok-lai7-goa7 ！
Tai5-lam5-koan7 Sin-iann5-chhi7 Tai7-hong5-li2 li2-tiunn2 ，
Chhoa3-chong5-beng5 se3-han3-si5 seng-oah8-khun3-khou2 ，
cha2-ni5 pe7-bo2 ui7-tioh8 hak8-hui3 chong5-chinn5 e5 sng2-sin5 piau2-cheng5 。
hou7-i he7-goan7 jin7-iong2 ji5-tong5 ，
m7-kam hak8-seng in-ui7 san3-chhiah sou2-i2 sit-hak8 ，
chit-hun7 ai3-sim chin3-chit8-pou7 ian5-tng5-kau3 kok-goa7 ；
kin-ki3 Ka-hu5-ki-kim-hoe7 e5 thong2-ke3 ，
ji7-chap8-it-ni5-lai5 jin7-iong2-e5 jin5-sou3 chhiau-koe3 chit8-pah-lang5 ，
koan-chou7 jin7-iong2 hui3-iong7 chhiau-koe3 sann-pah-ban7 。
Chhoa3-chong5-beng5 bok8-cheng5 iau2-u7 chap8-peh-e5 jin7-iong2-ji5 ，
iau2-si7 kok-lai7 、 kok-goa7 tui3-poann3-e5 khoe3-pe7 ，
si7 Hun5-ka-lam5-khu siang7-che7 khe3-kiann2 e5 ai3-sim-a-pa 。
Ka-hu5-tiong-sim sia7-kang kah jin7-iong2-ji5 ，
chheng-hou i-si7 「 Lian5-Hap8-Kok a-pa 」 ，
tai7-piau2 i-e5 ai3-sim bo5-hun hai2-lai7-goa7 。
keng3-ka tiong7-iau3-si7 lian5-soa3 kau3-tann ，
tui3-i u7-tioh8 chhim-chhim kam2-in kah chun-keng3 。
Hui-chiu 、 Lam5-bi2-chiu long2-u7 khe3-kiann2 ，
koe3-khi3 ji7-chap8-it-ni5-lai5 ，
Chhoa3-chong5-beng5 ji5-tong5 chong2-sou3 chhiau-koe3 chit8-pah-lang5 ，
ki5-tiong kok-goa7 kin2-a2 siang7-hng7 toa3-ti7 Hui-chiu Guinea ，
ma7-u7 Lam5-bi2-chiu Pa-se 、 In3-tou7 、 Guatemala ，
jin7-iong2 si5-kan siang7-ku2-e5 si7 chit8-ui7 kok-lai7 ji5-tong5 ，
i2-keng chiap-kin7 ji7-chap8-ni5 。
tui3 Chhoa3-chong5-beng5 lai5-kong2 ，
kin2-a2-e5 bah-sek sui-jian5 bo5-kang7-khoan2 ，
m7-koh long2-si7 i-e5 po2-poe3 。
Chhoa3-chong5-beng5 si7 chai7-jim7 Sin-iann5-chhi7 Tai7-hong5-li2 li2-tiunn2 ，
kah Sin-iann5 kong-ek chu5-sian7 ki-kim-hoe7 tang2-su7-tiunn2 。
cha2-cheng5 si3-e5 hiann-ti7-chi2-be7 se3-han3-si5 te3-tioh8 pe7-bo2 ，
tui3 pin5-khou2-e5 Pou3-te7 hai2-pinn poann-kau3 Sin-iann5 bou5-seng ，
jit8-chi2 peng3-bo5-ho2-koe3 ，
iau2-ham5 lau7-bu2 ti7 Sin-iann5-he2-chhia-thau5 thau5-cheng5 boe7-mi7 ；
i hoe5-siong2 gin2-a2-si5 ，
pe7-bo2 ui5-tioh8 chun2-pi7 hak8-hui3-e5 khou2-nau2 piau2-cheng5 ，
san2-seng chou7-hak8 liam7-thau5 。
m7-kam san3-chhiah gin2-a2 kan-khou2 e5 kiu5-hak8-lou7 ，
ji7-chap8-it-ni5-cheng5 tu2-a2-ho2 lau7-bu2 sin-the2 m7-ho2 ，
i hoat-goan7 jin7-iong2 chou7-hak8 ，
ma7 ng3-bang7 lau7-bu2 sin-the2 iong2-khi2-lai5 。
Chhoa3-chong5-beng5 iong7 ko3-jin5-sou2-tek jin7-iong2 ji5-tong5 ，
Ka-hu5 chheng2-kiu5 chi-oan7 kah the5-kiong jin7-iong2 tui3-siong7 ，
long2-si7 lai5-chia2-bo5-ku7-choat8 ，
I-kong2 「 u7-leng5-lek8-cho3 ， to ke-cho3-koa2 」 ，
I bo5-iau-kiu5 hoe5-po3 ，
siang7-hoann-hi2-e5 tai7-chi3 to-si7 khoann3-tioh8 jin7-iong2-ji5 toa7-han3 。
Chhoa3-chong5-beng5 jiat8-sim-kong-gi7 e5 sian7-heng7 ，
kin-ni5 pi7-the5-mia5 sann-chenn choan5-kok ho2-lang5-ho2-su7 ，
m7-koh si7-m7-si7 tit8-chiong2 i2-keng bo5-tiong7-iau3 ，
in-ui7 ti7 jin7-iong2-ji5 e5 lai7-sim ，
i-si7 eng2-oan2-e5 「 te7-it-mia5 」 a-pa 。
khong3-gi7 keng2-chhat si-po7 hak8-kai3 chhoan3-lian5 cheng7-cho7
ki3-chia2 Hoan7-Cheng3-siong5 、 chu3-Au-chiu tek8-phai3-oan5 Hou5-hui7-leng5 chong-hap8-po3-to7
Sou3-peh-mia5 keng-koe3 bang7-lou7 chhoan3-lian5 ，
lai5-chu7 choan5-Tai5-oan5 kok-te7-e5 tai7-hak8-seng 、
kau3-siu7 、 bun5-hoa3 kang-chok-chia2 ，
choh8-jit8 chu7-hoat-seng3 chip8-kiat-ti7 heng5-cheng3-inn7 toa7-bun5-khau2 thau5-cheng5 ，
khong3-gi7 siong-hai7 Tai5-oan5 jin5-bin5 e5 ki-pun2-jin5-koan5 。
「 chhng-ou-sann 、 ti3-chhui3-am 」 ho5-peng5-e5 cheng7-cho7 ，
khong3-gi7 keng2-hong ti7 Tan5-hun5-lim5 lai5-Tai5-oan5 e5 che-toann7 si5-kan ，
i5-an chip-hoat koe3-tong3 piau2-tat8 siang7-kiong5-liat8 khong3-gi7 。
cheng3-hu2 ui7-tioh8 chiap-thai7 Tan5-hun5-lim5 bo5-sioh pho3-hoai7 Tai5-oan5-e5 bin5-chu2 ，
hou7-lang5 kam2-kak-tioh8 bo5-hoat-li2-kai2 ham put-boan2 。
Eng-kok Tai5-oan5-hiap8-hoe7 tui3-i5 Ma2-chong2-thong2-cheng3-hu2 ，
「 kan-na7-kong2 keng-che3 、 phau-khi3-chu2-koan5 」 e5 thai3-tou7 ，
iau-kiu5 Ma2-eng-kiu2-cheng3-hu2 kah heng5-cheng3-inn7-tiunn2 ，
pit-su kong-khai hiong3 kok-jin5 to7-khiam ，
Keng2-cheng3-su7-tiunn2 Ong5-toh-kun 、 Kok-an-kiok8-tiunn2 Chhoa3-tiau5-beng5 lip8-khek ha7-tai5 。
Lip8-hoat-inn7 eng-kai koann2-kin2 siu-kai2 ，
han7-che3 jin5-bin5 koan5-li7 e5 Chip8-hoe7-iu5-heng5-hoat 。
Kau-thong-tai7-hak8 Jin5-bun5-sia7-hoe7-he7 chou7-li2-kau3-siu7 Khou2-ui5-tek teng2-teng2 ，
choe7-choe7 e5 kau3-siu7 choh8-jit8 ma7 hoat-khi2 ，
「 han7-oe7 chu7-iu5-jin5-koan5 、 khong3-gi7 keng2-chhat pok8-lek8 」 e5 cheng7-cho7 lian5-su7 hoat-tong7 ，
hiu-eng3 ti7 Tai5-pak-e5 hak8-kai3 cheng7-cho7 sou3-kiu5 ，
hek8-tit chiann5-che7 kau3-siu7 kah hak8-seng hiang2-eng3 。
chit-tin7 chu2-iau3 tai7-hak8-seng ui5-chu2 ，
kiong2-tiau7 m7-si7 cheng3-tong2 ah-si7 thoan5-the2 tong7-oan5-e5 khong3-gi7 kun5-chiong3 。
in thong3-phe Hai2-hiap8-hoe7 tai7-piau2-thoan5 lai5-Tai5-oan5 te2-te2 kui2-lit8 ，
Tai5-oan5-jin5-bin5 ho2-put-iong5-i7 kian3-lip8-e5 bin5-chu2 chu7-iu5 the2-che3 ，
ti7 boan2-siann5 keng2-lek8 、 ui-hek-e5 ham kiong5-si3-e5 khi3-hun-tiong ，
Tai5-oan5-e5 bin5-chu2 chu7-iu5 oah8-beh oa2-kai2 。
cheng3-hu2 ti7 na2-chhin-chhinnn7 keng2-chhat-kok-ka e5 bu2-chong po2-hou7 lai7-thau5 ，
chu7-ngou2-khai-kho ti7 lek8-su2-seng3 gi5-sek-e5 siong2-siong7 ，
kah lun5-hoan-e5 lim-chiu2-thoann tong-tiong 。
hian3-hoat po2-chiong3 jin5-bin5-e5 gian5-lun7-chu7-iu5 ham heng5-tong7-koan5-li7 ，
long2-pi7 an3-ha7 、 sim7-chi3 be7-ki3 。
keng2-hong kui2-pai2 hiong3 khong3-gi7 hak8-seng gia5-pai5-a2 ，
m7-koh hak8-seng-in peng7-bo5-an3-sng3 the3-niu7 。
hak8-seng-in kiong2-tiau7 ，
i2-keng m7-si7 i5-an u7-bo5 koe3-tong3 e5 ki-sut8 bun7-te5 ，
ma7-m7-na7-si7 cheng3-tong2 jin7-tong5 soan2-tek8-e5 bun7-te5 ，
chit-si7 po7-lek8-hoa3 e5 kok-ka-cheng3-koan5 ，
tui3 chhi7-bin5 sia7-hoe7-e5 giam5-tiong7 jia2-khang kah chhim-hoan7 。
kam2-kong2 boeh kiong5-hoa3 liong2-gan7 keng-bou7 kau-liu5 ，
ma7 pit-su thau3-koe3 kang3-ke7 Tai5-oan5-e5 bin5-chu2-chu7-iu5 theng5-tou7 ，
lai5-tat8-seng5 ham Tiong-kok kang5-khoan2 kek8-koan5-thong2-ti7 e5 chui2-chun2 ？
leng7-goa7 ， Eng-kok Tai5-oan5-hiap8-hoe7 ti7 gou7-ho7 ，
chiam-tui3 Tan5-hun5-lim5 hong2-Tai5-oan5 hoat-chhut seng-beng5 khong3-gi7 ，
jin7-ui5 bin5-chu2-e5 Tai5-oan5 ，
be7-eng7-tit loan7-chu2-lai5 ui5-hian3 i2-kip8 chhim-hoan7 chu7-iu5 ham ap-pek jin5-koan5 。
heng5-cheng3-inn7 khu-li5 hak8-seng choan2-ong2 Chu7-iu5-kong2-tiunn5 cheng7-cho7
ki3-chia2 Lim5-ka-ki5 、 Tan5-soan-iu5 、 Ng5-kian3-hoa5 、 Lau5-kheng3-hau5 chong-hap8-po3-to7
「giaN5 『 Tan5 』 chhin-chhinnn7 kai3-giam5」 ，
nng7-pah-kui2-mia5 tai7-hak8-su-seng ham sia7-un7-thoan5-the2 ，
keng-koe3 bang7-lou7 chhoan3-lian5 ，
ho7-tiau3 tai7-khai3 lak8-pah-lang5 ，
lian5-soa3 nng7-kang ti7 heng5-cheng3-inn7 thau5-cheng5 cheng7-cho7 ，
khong3-gi7 cheng3-hu2 tui3 Tiong-kok-hai2-hiap8-hoe7 hoe7-tiunn2 Tan5-hun5-lim5 ，
chin3-heng5 ko-phiau-chun2-e5 「 kai3-giam5-sek i5-an tong7-chok」 ，
giam5-tiong7 chhim-hoan7 Tai5-oan5 bin5-chiong3 jin5-sin-chu7-iu5 。
in the5-chhut ，
「 Ma2 、 Lau5 to7-khiam ， koann-oan5 loh8-tai5 ，
kah Lip8-hoat-inn7 siu-hoat 」 teng2 sam-toa7 sou3-kiu5 ，
m7-kuh khou2-che7 sam-chap8-tiam2-cheng liau2-au7 ，
m7-na7 boe7-hek8-tek jim7-ho5 hoe5-eng3 ，
tian-to3 tu2-tioh8 toa7-phe keng2-lek8 lian5-giu2-kiam-sak 、
koh-kng-koh-lak8 sang3-chiunn7 keng2-pi7-chhia ，
to-sou3 hak8-seng kek-tong7 bak8-sai2-lau5 。
keng2-hong piau2-si7 ，
in-ui7 hak8-seng si7-tui3 Tai5-tai7 PTT chip8-hap8 ，
in-chhu2 ka7 in chai3-to3-tng2 Tai5-tai7 。
m7-koh su-seng-in toe3-boe2 choan2-ong2 Chu7-iu5-kong2-tiunn5 chip8-hap8 ，
ke3-siok8 khong3-gi7 ，
choh8-jit8 chhim-ia7 peng3-chou-seng5 chhit-lang5 koat-chhek-sio2-chou ，
thui-chhut Cheng3-tai7 Tai5-oan5-lek8-su2-gian2-kiu3-sou2 gian2-kiu3-seng Giam5-oan2-leng5 cho3-thau5 ，
bi7-lai5 sou2-u7 heng5-tong7 koat-chhek ，
long2-hou7 koat-chhek-sio2-chou gi7-koat 。
Tai5-pak-chhi7 keng2-chhat-kiok8 Tiong-cheng3-it-hun-kiok8 piau2-si7 ，
hoat-khi2 「 It-It-khong3-liok8 oah8-tang7」 e5 seng5-oan5 ，
Tai5-tai7 Sia7-hoe7-he7 chou7-li2-kau3-siu7 Li2-beng5-chhong kah hak8-seng ，
ti7 pi7-khu-li5 i2-au7 choan2-ong2 Chu7-iu5-kong2-tiunn5 cheng7-cho7 ，
in-ui7 bok8-chian5 be7-tui3 kau-thong cho7-seng5 hong5-gai7 ，
ah-si7 hoa7-hoa7-kun2-e5 cheng5-heng5 ，
keng2-hong gia5-pai5-a2 sou-cheng3 liau2-au7 ，
chiam7-si5 bo5-koh-chai3 khu-li5 。
m7-koh 「 It-It-khong3-liok8 oah8-tang7 」 bo5-keng-koe3 sin-chheng2 hek8-chun2 ，
pun2-sin tioh8-si7 ui5-hoat-heng5-ui5 ，
kin-a2-jit koh-khoann3 chong7-hong2 ，
gia5-pai5-a2 keng2-ko3 at-chi2 kah sou-cheng3 ，
koh-an3-chiau3 ui5-hoan2 Chip8-iu5-hoat ，
ka7 chhoa7-thau5-e5 Li2-beng5-chhong ham5-sang3 te7-kiam2-su2 。
keng2-hong kang2 cha-am3-si7 khang-chhiu2 khu-li5 hak8-seng kah lau7-su ，
m7-koh Li2-beng5-chhong chhut-si7 giam7-siong-toann chi2-khong3 ，
keng2-chhat po7-lek8 long7-khoan5 ui5-hoat ，
i-kong2 ka-ki7 pi7 keng2-chhat khu-li5 liau2-au7 ，
chhit 、 pat-e5 keng2-chhat ui5-leh-phah i ，
cho7-seng5 chhiu2-au7-khu7 、 pak-tou2 choe7-ui7 chhat-siong ，
m7-koh keng2-hong kiong5-tiau7 si7 peng5-ho5 ka7-lang5 kng-chau2 peng3-bo5-phah-lang5 。
tui3 keng2-hong kui2-na7-kang chhou-po7-chip-hoat ，
khoaN3-be7-koan3 e5 chit-phoe su-seng ，
teng2-kang chu7-chu2 tong7-oan5 chip8-kiat-ti7 heng5-cheng3-inn7 thau5-cheng5 ，
khong3-gi7 「 jin5-bin5 chit8-pou7-chit8-kha-in3 kian3-lip8-e5 bin5-chu2-chu7-iu5 the2-che3 ，
ti7 Tan5-hun5-lim5 lai5-Tai5-oan5 ki5-kan ，
i2-keng-pi7 chit-khoan2 boan2-siann5 keng2-lek8 、
cheng3-ti7 ui-hek khi3-hun ham kiong5-si3-e5 ui5-tou2 ，
pho3-hoai7-kau3 oah8-beh pang-pai7 」 ，
hak8-seng the5-chhut sam-toa7-sou3-kiu5 ：
「 Ma2-eng-kiu2 、 Lau5-tiau7-hian5 kong-khai hiong3 kok-jin5 hoe7-m7-tioh8 」 、
「 Keng2-cheng3-su7-tiunn2 Ong5-toh-kun 、
Kok-an-kiok8-tiunn2 Chhoa3-tiau5-beng5 ha7-tai5 」 、
Lip8-hoat-inn7 eng3-kai khah-kin2 siu-kai2 ，
han7-sok jin5-bin5 koan5-li7-e5 『 Chip8-hoe7-iu5-heng5-hoat 』 。
hak8-seng ti7 cheng7-cho7 ji7-chap8-lak8-tiam2-cheng liau2-au7 ，
choh8-jit8 cha2-khi2 heng5-cheng3-inn7 pi3-su-tiunn2 Sih-hiong-chhoan ，
chai5-m7-goan7-e5 chhut-bin7 an-tah ，
m7-koh i chhut-lai5 tioh8-kong2 ：
「 cheng3-ti7 si7 chit8-si5-e5 ， m7-koh cho3-lang5 soah-si7 eng2-oan2-e5 。 」
in2-khi2 hak8-seng ko-tou7 put-boan2 ，
tui3 i chhiang3-siann ：「 li2-si7-m7-si7-lang5 ？ 」
hak8-seng-kong2 ，
na7-si7-lang5 tioh8-eng-kai chai-iann2 chun-tiong7 jin5-koan5 。
kau3-e7-pou si3-tiam2 sann-chap8-hun ，
keng2-hong te7-si3-ke3 gia5 pai5-a2 liau2-au7 thian2-khui khu-tak8 ，
hak8-seng chhiu2-kau-tioh8-chhiu2 ，
ba7-ba7 che7-cho3-he2 ，
chhui3-hoah 「 ho5-peng5 、 jin5-koan5 」 ，
iau2-si7-pi7 keng2-hong it-it kng-chiunn7 keng2-pi7-chhia chai3-li5-khui 。
chit-e5 cheng7-cho7 oah8-tang7 ma7-ti7 lam5-pou7 in2-khi2 hoe5-hiong2 ，
Ko-hiong5-te7-khu chap8-kui2-e5 tai7-hak8-seng 、
ko-tiong-seng cha-me5 chian5-ong2 Ko-hiong5-chhi7-keng2-chhat-kiok8 pinn-a2 cheng7-cho7 ，
piau2-tat8 seng-oan7 lip8-tiunn5 ，
ji5-chhiann2 chhiang3-siann chiunn7-pak ka-jip8 cheng7-cho7 。
Bi2-kok kok-hoe7 soan-pou3 Obama tong3-soan2 te7-si3-chap-si3-jim7 chong2-thong2
Chu7-Iu5-Si5-Po3 po3-to7
Bi2-kok kok-hoe7 kin-a2-jit8 cheng3-sek khak-jim7 ，
nng7-chheng-khong3-peh-ni5 chap8-it-geh8-si3-ho7 chong2-thong2-tai7-soan2 soan2-ki2 kiat-ko2 ，
soan-pou3 Obama tong3-soan2 ，
Bi2-kok te7-si3-chap8-si3-kai3 ，
ma7-si7 te7-gou7-chap8-lak8-jim7 Bi2-kok chong2-thong2 。
kun-ki3 Bi2-kok hoat-lut8 kui-teng7 ，
kok-hoe7 pit-su cheng3-sek ke3-sng3 gou7-chap8-chiu ，
kap Columbia tek8-khu soan2-ki2-jin5-phio3 ，
jian5-au7 cheng3-sek soan-pou3 soan2-ki2 kiat-ko2 。
Bi2-kok te7 chit8-pah-chap8-it-kai3 kok-hoe7 ti7 lak8-ho7 khui-gi7
Chham-gi7-inn7 kap Chiong3-gi7-inn7 kin-a2-jit8 ki2-heng5 lian5-sek8 hoe7-gi7 ，
tit-beh sia3-jim7 e5 hu3-chong2-thong2 Cheney ，
iong7 Chham-inn7 gi7-tiunn2 sin-hun7 ，
ham Cheng3-inn7 gi7-tiunn2 Pelosi ，
nng7-lang5 kiong7-tong5 chu2-chhi5 hoe7-gi7 。
si3-ui7 su7-sian soan2-ho2 e5 kok-hoe7 gi7-oan5 ，
chiunn7-tai5 soan-thok8 kok-chiu e5 tau5-phio3 kiat-ko2 。
Cheney choe3-au7 cheng3-sek soan-pou3 ，
choan5-kok gou7-chap8-chiu kap Columbia tek8-khu ，
long2-chong2 gou7-pah-sann-chap8-peh-tiunn soan2-ki2-jin5-phio3 ，
iu5 iann5 chhiau-koe3 nng7-pah-chhit-chap8-tiunn soan2-ki2-jin5-phio3 e5 hau7-soan2-jin5 ，
tong3-soan2 te7-gou7-chap8-lak8-jim7 Bi2-kok chong2-thong2 。
kok-chiu-e5 soan2-ki2-lang5 tau5-phio3 soan2-ki2 kiat-ko2 ，
llinois-chiu lian5-pang chham-gi7-oan5 ，
Obama iann5-tioh8 sann-pah-lak8-chap8-gou7-tiunn ，
Arizona-chiu lian5-pang chham-gi7-oan5 ，
McCain iann5-tioh8 chit8-pah-chhit-chap8-sann-tiunn 。
Obama kap keng7-soan2 sio-tau3-e5 Biden ，
hun-piat8 tong3-soan2 chong2-thong2 kap hu3-chong2-thong2 。
Cheney soan-pou3 liau2-au7 ，
choan5-the2 Chham-Cheng3-gi7-oan5 khia7-khi2-lai5 phah-phok8-a2 ti3-keng3 。
iu5 Cheney cheng3-sek soan-pou3 e5 soan2-ki2 kiat-ko2 bun5-kiann7 ，
bi7-lai5 e7 sang3-kau3 Bi2-kok kok-ka-tong3-an3-kiok8 po2-chun5 ，
liau2-au7 hou7 kok-hoe7 koann-hong chhut-pan2-phin2 khan-teng 。

tgt.lm is generated by lmplz -o 2 < mt.tgt

filter-model-given-input.pl changes causes crash on processPhraseTableMin

New version of filter-model-given-input.pl, when it called with -Binariser processPhraseTableMin causes Segmentation fault of processPhraseTableMin (I work on Debian 3.2.63-2+deb7u1 x86_64 GNU/Linux).
I don't know how it works in other environments, but on my machine processPhraseTableMin doesn't want to take pipe object on input. I.e. somethins like this:
processPhraseTableMin -in <(cat tmp) -out res
causes seg fault.
Does it work well on other environments? Thanks!

mac64 v1 binary doesn't run due to missing randlm library

I'm using the binaries on http://www.statmt.org/moses/RELEASE-1.0/binaries/ for mac64, and bin/moses and bin/mosesserver fail with

dyld: Library not loaded: /Users/hieuhoang/unison/workspace/randlm/lib/libRandLM.0.dylib
Referenced from: /src/l10n/moses/./bin/mosesserver
Reason: image not found
Trace/BPT trap: 5

Given the path names, CC @hieuhoang

[TRIVIAL] Requesting sample usage to be added as comments or to documentation

A very useful script: mosesdecoder/scripts/server/moses.py
Would perhaps benefit from a sample usage example.

Cheers!

mosesserver -xml-input exclusive

Hi , I am running a mosesserver with a -xml-input flag.
I tried various options but it is not working for me.

Translation took 0 seconds
Output: 我
Input: ئىسمىڭ نىمە
Translating: <s> ئىسمىڭ نىمە </s>  ||| [0,0]=X (1) [0,1]=X (1) [0,2]=X (1) [0,3]=X (1) [1,1]=X (1) [1,2]=X (1) [1,3]=X (1) [2,2]=X (1) [2,3]=X (1) [3,3]=X (1)

  0   1   2   3
  1   2  20   0
    2  50   0
     32   0
        1
Translation took 0 seconds
Output: 叫 什么 。
Input: <np translation="哈哈">مەن</np>
[2]    443 segmentation fault (core dumped)  ./mosesserver -xml-input exclusive -f

I deployed moses on a docker container.

#!/usr/bin/env python
# -*- coding: utf-8 -*-

# python port of client.perl

import xmlrpclib
import datetime
import sys

url = "http://172.17.0.3:8080/RPC2"
proxy = xmlrpclib.ServerProxy(url)

text = "ئىسمىڭ نىمە"
if len(sys.argv) > 1:
#    print "source is:", sys.argv[1]
    text=sys.argv[1]

params = {"text":text, "align":"true", "report-all-factors":"true"}

result = proxy.translate(params)
print result['text'].encode('utf-8')
if 'align' in result:
    print "Phrase alignments:"
    aligns = result['align']
    for align in aligns:
        print "%s,%s,%s" %(align['tgt-start'], align['src-start'], align['src-end'])

Here is my command to invoke translation.

./client.py   '我 要 去  <np translation="ئوردا" >学校</np>'

This is giving me a segmentation fault.

I started mosesserver as following command. And it works fine without xml tags.
./mosesserver -xml-input exclusive -f moses.ini

I could not find enough information on moses website.Could you tell me which part could possibly went wrong?

Many thanks.

"KENLM lazyken=0" isn't numeric

It's a strange warning but when using train-model.perl, this occurs:

(9) create moses.ini @ Wed Apr 22 12:57:15 CEST 2015
Argument "KENLM lazyken=0" isn't numeric in numeric eq (==) at /home/username/moses/scripts/training/train-model.perl line 2140.

Although it gives the warning, the moses.ini is totally use-able and moses decodes with the resulting moses.ini.

Why did it give such a warning? Is there something wrong?

NPLM wrapper not compatible with rsennrich's version

The nplm wrapper at lm/wrappers/nplm.cc is not compatible with the NPLM at https://github.com/rsennrich/nplm, which is the suggested NPLM (from http://www.statmt.org/moses/?n=FactoredTraining.BuildingLanguageModel#ntoc1). The NPLM from @rsennrich has incorporated changes from the upstream 0.3 version, which changed the nplm::neuralLM constructor's signature - it no longer takes a string.

segmentation fault and random errors after 5-15 minutes in mosesserver

Hi,

My question is explained in details here: http://stackoverflow.com/questions/19962783/moses-crashed-with-segmentation-fault

I tried both latest rev from git for last couple of days, or older version found in Arch Linux User Repository (AUR) marked as 1.0.

Basically, I have problem running mosesserver after some time. When it works, it simply works for almost any input, but when it does not it freezes after error message " *** Error in `/opt/moses/bin/mosesserver': double free or corruption (!prev): 0x00000000ec8d1470 ***" or exits uncleanly.

When I try to debug mosesserver all errors I can see are related to xmlrpc, but when I try to directly run moses and manually input text for translation, then it again crashes.

It is very hard to explain what is going on, but moses was working ok on older arch linux. Somehow, glibc looks suspicious to me.

No file "processPhraseTable" in "mosesdecoder/bin"

I was doing the manual's baseline system chapter. And after training the translation model, I want to binarise the phrase-table but it seems no file named "processPhraseTable" in "mosesdecoder/bin". Does this version remove it ? Yesterday I clone moses from github. And my system is openSUSE 13.2, using boost1.54.
The building process is successful.

Why the lm of baseline system is SRILM?

"The Moses tool-chain defaults to SRILM" is in Baseline System

Moses had included KenLM.

Why the default lm is not KenLM? Historical reason?

Using KenLM is convenient to new users.

NPLM double precision spec b0rks the build

To get moses compiled with the NPLM from https://github.com/moses-smt/nplm, I had to edit lm/Jamfile to add NPLM_DOUBLE_PRECISION=0 to the nplm.o object's definitions.

While I'm here, the commit that added NPLM_DOUBLE_PRECISION=0 to moses/LM/Jamfile (1243921) was labeled 'compile NPLM objects with single precision', but actually compiles them with double precision. The NPLM headers enable double precision if NPLM_DOUBLE_PRECISION is defined at all - setting it to zero is still defining it. Not sure if this is a problem or not - both NPLM and moses are setting them to the same value by default, which makes them compatible.

@rsennrich

Test

blah blah

Is there no "-ttable-limit" option in mosesdecoder ?

I'm a moses freshman. And when I try the code in Moses Manual page62(or you can find it in 3.1.6 where describes how to limit the translation table size), I found the option -ttable-limit seems to be wrong and when I look the options list, I found there is no -ttable-limit. Do we still use this or not? Can someone tell me more about it.?

Thanks.

Regression, segmentation fault in mosesserver

A bug appeared in mosesserver that used not to be there in an older version.
I'm running the latest git version. I get a segmentation fault which appears
underministically (underlying memory issue perhaps?). The bug only appears with
the server and not with the normal moses.

I start Mosesserver as follows:

mosesserver --server-port 8080 -xml-input inclusive -f ep7os12-mosesbaseline/fallback.moses.ini -n-best-list ep7os12-mosesbaseline/nbest.txt 25

Then I provide Moses input with XML markup, only one small L1 fragment in L2 context
is to be translated. Moses is trained to translate English to German:

<w translation="Oft">Oft</w><wall/><w translation="gibt">gibt</w><wall/><w translation="es">es</w><wall/>various<wall/>reasons<wall/><w translation="für">für</w><wall/><w translation="das">das</w><wall/><w translation="Dilemma">Dilemma</w><wall/><w translation=".">.</w><wall/>

This often goes well for a few sentences but then breaks. Here's a gdb trace of
when it fails:

[contrib/server/mosesserver.cpp:708] Listening on port 8080
[contrib/server/mosesserver.cpp:234] Input: OftgibtesvariousreasonsfürdasDilemma.
Translating: Oft gibt es various reasons für das Dilemma .
Line 0: Collecting options took 0.000134339 seconds at moses/Manager.cpp:110
Line 0: Search took 0.00144825 seconds
[contrib/server/mosesserver.cpp:340] Output: Oft gibt es verschiedene Gründe für das Dilemma .
[Thread 0x7ffff7ff1300 (LWP 29516) exited]
[New Thread 0x7ffff7ff1300 (LWP 29559)]
[contrib/server/mosesserver.cpp:234] Input: OftgibtesvariousreasonsfürdasDilemma.
Translating: Oft gibt es various reasons für das Dilemma .
Line 0: Collecting options took 0.000134644 seconds at moses/Manager.cpp:110
Line 0: Search took 0.00143984 seconds
[contrib/server/mosesserver.cpp:340] Output: Oft gibt es verschiedene Gründe für das Dilemma .

Program received signal SIGSEGV, Segmentation fault.
[Switching to Thread 0x7fffe97ec700 (LWP 27461)]
0x000000000055f9c7 in Moses::ThreadPool::Execute (this=0x22fc5f28) at moses/ThreadPool.cpp:59
59 if (task->DeleteAfterExecution()) {
(gdb) bt
#0 0x000000000055f9c7 in Moses::ThreadPool::Execute (this=0x22fc5f28) at moses/ThreadPool.cpp:59
#1 0x00000000006aa964 in thread_proxy ()
#2 0x00007ffff73a7e9a in start_thread (arg=0x7fffe97ec700) at pthread_create.c:308
#3 0x00007ffff648e31d in clone () at ../sysdeps/unix/sysv/linux/x86_64/clone.S:112
#4 0x0000000000000000 in ?? ()

You see in this example I passed the same input twice, the first time it went fine, and the second time it segfaulted. In a prior version all was fine.

I'm hoping somebody more familiar with the Moses codebase has an idea what might be wrong?

Moses (master-branch) with DLIB

Hi,
I try to complie Moses (latest master-branch) on openSuse Linux with DLIB-library.
But I run into trouble caused through the commit 249c40e from May 31.
The changes at the moses/Phrase.h ::CreateFromString() - remove the 4'th paramater 'factorDelimiter' doesn't regards all methods with the 'WITH_DLIB' option.
Best regards Thomas

-alignment-output-file is missing newline chars

Hi,
the newline characters in -alignment-out-file file.aln are missing. It outputs the alignments for all sentences in one long line.
Cheers,
Marcin

Moses Compilation and Phrase Table Issues

Hi,

I'm attempting to use the python interface to aid with a translation pipeline for longer pieces of text. Currently the pipeline is all written in python so this interface seemed perfect. I've run into a few problems however. The first problem is with compiling moses. Using "./bjam --libdir=/home/judah/mosesdecoder/lib link=shared -j12 -a" I can get the python interface to work, but using "./bjam --with-boost=/home/judah/boost_1_55_0 --with-irstlm=/home/judah/irstlm-5.80.03 -libdir=/home/judah/mosesdecoder/lib link=shared -j12 -a" I get a failure. Compiling with only irstlm and no link=shared works though.

The second issue is with the interface itself. I may be misunderstanding the point of this interface but it seems to not translate anything longer than a 2 word phrase, is this something wrong or is that all that it can do? Is there a good way to query entire sentences with python other than to just run a subprocess of the decoder?

Thanks!

Moses was compiled without server support.

Hello. After I compiled moses 3.0 from source (./bjam --with-irstlm=/home/install/irstml --with-giza=/home/install/giza-pp --with-boost=/home/install/boost --with-xmlrpc-c=/home/install/xmlrpc-c --with-srilm=/home/install/srilm --prefix=/home/install/moses) and I start it with ./moseserver --server-port 8084 -f /home/model/moses.ini --server it start normally but after a few seconds the execution end and there is a message : Moses was compiled without server support. I was browsing through the web but cannot find solution. Is this a issue or it is a problem with my build. I am building it on ubuntu 14 server and the previous version works just find. Can you help me ?
P.S. Excuse my english I am foreigner. :)

Moses compilation problems

Hi All,

So I was trying to installed Moses on my Ubuntu machine. I already follow the instruction on http://www.statmt.org/moses/?n=Development.GetStarted, so I use apt-get to get most of the dependency I need already. While I was doing

./bjam -j32 --with-boost=/my/install/to/boost/

It always showed error from boost

...failed gcc.link mira/bin/gcc-4.4.7/release/debug-symbols-on/link-static/threading-multi/mira...
gcc.link /net/aspen/usr0/jchiu1/newmoses/mosesdecoder/bin/mira
mira/bin/gcc-4.4.7/release/debug-symbols-on/link-static/threading-multi/Main.o: In function validation_error': /net/aspen/usr0/jchiu1/program/boost/include/boost/program_options/errors.hpp:372: undefined reference toboost::program_options::validation_error::get_template(boost::program_options::validation_error::kind_t)'
/net/aspen/usr0/jchiu1/program/boost/include/boost/program_options/errors.hpp:372: undefined reference to boost::program_options::error_with_option_name::error_with_option_name(std::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)' mira/bin/gcc-4.4.7/release/debug-symbols-on/link-static/threading-multi/Main.o: In function~error_with_option_name':
/net/aspen/usr0/jchiu1/program/boost/include/boost/program_options/errors.hpp:118: undefined reference to vtable for boost::program_options::error_with_option_name' mira/bin/gcc-4.4.7/release/debug-symbols-on/link-static/threading-multi/Main.o: In functionerror_with_option_name':
/net/aspen/usr0/jchiu1/program/boost/include/boost/program_options/errors.hpp:88: undefined reference to `vtable for boost::program_options::error_with_option_name'

...failed gcc.link /net/aspen/usr0/jchiu1/newmoses/mosesdecoder/bin/mira...
gcc.link /net/aspen/usr0/jchiu1/newmoses/mosesdecoder/bin/filter
gcc.link lm/filter/bin/gcc-4.4.7/release/debug-symbols-on/link-static/threading-multi/filter
gcc.link lm/bin/model_test.test/gcc-4.4.7/release/debug-symbols-on/link-static/threading-multi/model_test
testing.capture-output lm/bin/model_test.test/gcc-4.4.7/release/debug-symbols-on/link-static/threading-multi/model_test.run
passed lm/bin/model_test.test/gcc-4.4.7/release/debug-symbols-on/link-static/threading-multi/model_test.test
...failed updating 18 targets...
...updated 391 targets...

I just get the moses from git today, so it should be the most recent one, and for the boost, I've tried 1.54 1.53 and 1.50, and they keep having the same problem. Does anyone know what should I look into or fix?

Bug in your mosesdecoder/phrase-extract/SyntaxTree.cpp

Hi, this code has some bug, may it get the syntax structure wrong.
For example, use this SyntaxTree, I build this syntax tree.

SyntaxTree st;
st.AddNode(0, 2, "X2"); // add a node cover 0 and 2
st.AddNode(0, 3, "X3");
st.AddNode(1, 2, "X1");
st.ConnectNodes();

But after it construct the tree, I find that the parent of "X1" is "X3" !!

Word alignments broken, appears to be from commit 69e5a1cc152de407513aa3889b2e665f32cb7507

Hi all,

Commit 69e5a1c seems to have broken outputting word alignments when Moses uses more than one phrase. It looks like the code was refactored to replace the tangle that was word alignment printing. We could just go back to using the (admittedly sub-optimal) old code if that's easier than debugging the new code.

Example:

moses -f moses.ini --print-alignment-info --report-segmentation

this
dieser |0-0| ||| 0-0

this is
Dies ist |0-1| ||| 0-0 1-1

this is a
Dies ist |0-1| ein |2-2| ||| 2-0

this is a test
Dies ist |0-1| ein |2-2| Test |3-3| ||| 3-0

Best,
Michael

Build fails when using both --with-mm and --max-kenlm-order

I'm getting a build error when using both --with-mm and --max-kenlm-order=8 (build log). However, if I first run:

./bjam --with-mm

then I run:

./bjam --with-mm --max-kenlm-order=8

everything builds fine. Anyone familiar with the build system know what may be causing this?