precision micro/macro about babelente HOT 7 CLOSED

Implemented, please test

from babelente.

deze input heeft 2x 'algorithm' en dat wordt ook netjes in een Counter geteld.

[ cough ] . Another reason nowadays to study algorithms is that , they have become a common language for understanding , nature . Algorithms are computational models , and algorithmic models are replacing mathematical models in scientific inquiry .

maar 'allmatches' en 'overallmatches' tellen nu exact hetzelfde: lijkt me niet de bedoeling want dan heb je geen 2 vars nodig.

from babelente.

Klopt, ze tellen precies hetzelfde, eentje is overbodig, moet ik nog even netjes wegpoetsen..

from babelente.

beide versies toch houden!

het blijkt nu ik eindelijk dus de test sets voor alle talen hb ontvangen dat die data nogal apart in elkaar zit: het zit vol met duplicaties van zinnen die dan aligned zijn met net andere vertalingen. ik zie het nut hier niet van (en voor bleu berekeningen moet je die dingen dan toch anders gaan alignen) maar het is wat het is.

Dit maakt jouw set evaluatie ineens helemaal zo gek niet proycon: dan negeren we juist al die dubbele gevallen!
jammer maar lijkt me dus dat we ze toch allebei willen.

voorbeeldje data

Aristotelian questioning
Aristotelian questioning
Aristotelian questioning
Socratic questioning
Socratic questioning
Socratic questioning
The building block of reasoning.
The building block of reasoning.
The building block of reasoning.
A set of statements where the conclusion follows logically from the premises.
A set of statements where the conclusion follows logically from the premises.
A set of statements where the conclusion follows logically from the premises.

aristotelische Frage
Aristotelisches Streiten
Aristolerische Frage
socratische Fragestellung
Sokratische Befragung
Sokratische Frage
der Hauptgrund von Diskussionen
Der Baustein der Begründung.
Das aufbauen eines Gedankengangs.
Eine Gruppe von Aussagen wobei das Ergebnis logisch von Presmisen gefolgt ist.
Eine Reihe von Aussagen, wo die Schlussfolgerung logisch aus den Räumlichkeiten
folgt.

from babelente.

Is nu in master branch gemerged zodat we het weer in één versie hebben. Voor het oude/gewenste gedrag is de --nodup optie nu nodig.

from babelente.

Er is overigens een 'oldevaluation' branch bijgekomen die de vorige staat beschrijft

from babelente.

oke, er lijkt iets niet te kloppen met de linenumber count!
op regel 235 'linenumbers' lijkt niet te kloppen

in mijn testje op de PT tune set heb ik 595 zinnen, maar ik tel er 590 in babelente (en er zijn geen lege zinnen)

babelente.py --anntype ALL -t pt -s en -T PT.prep.pt.sentences -S PT.prep.en.sentences

from babelente.