refresh-bio / gtshark Goto Github PK

View Code? Open in Web Editor NEW

3.0 3.0 4.0 73 KB

GTShark: Genotype compression in large projects

License: GNU General Public License v3.0

Shell 0.55% Makefile 1.00% C++ 92.34% C 6.11%

gtshark's People

Contributors

Stargazers

Watchers

Forkers

sebastiandeorowicz pkusunbx smdonkey lackofentropy

gtshark's Issues

Original and reconstructed files are different

I compressed a chr22 vcf file from 1000 genome project phase 3 using GTShark, then i decompress the data.
What i found is that the decompressed vcf file differs from the original one.

For the htslib i added -lcrypto, otherwise i will always receive an error.
I tried both ALL.chr22.phase3_shapeit2_mvncall_integrated_v5a.20130502.genotypes.vcf and ALL.chr22.phase3_shapeit2_mvncall_integrated_v5b.20130502.genotypes.vcf.
For both files, the reconstructed vcf are different.
I havent tried the other data yet.

Could you help me?

ChrX compression-decompression haploid genotype data doesn't match

Hello.
As a test I ran GTShark on chrX of 1KGP3 (available from the FTP link below) ftp://ftp.1000genomes.ebi.ac.uk/vol1/ftp/release/20130502/ALL.chrX.phase3_shapeit2_mvncall_integrated_v1c.20130502.genotypes.vcf.gz

(I transformed this file to BCF with bcftools and named it chrX.bcf in the scripts below to save space).

I ran the following commands :

gtshark compress-db chrX.bcf out/chrX
gtshark decompress-db -b out/chrX out/chrX.bcf

Then I compared the input chrX.bcf and the output out/chrX.bcf using bcftools view

For example with variant at position 6000044

Original BCF :

X	6000044	.	C	T	100	PASS	AC=1;AF=0.000264901;AN=3775;NS=2504;DP=12694;AMR_AF=0;AFR_AF=0.001;EUR_AF=0;SAS_AF=0;EAS_AF=0;AA=C|||;VT=SNP	GT	0	0|0	0|0	0|0	0	0|0	0|0	0	0	0	0|0	0|0	0	0	0	0	0	0	0|0	0	0|0	0|0	0|0	0|0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0	0	0	0	0	0	0|0	0	0	0|0	0	0|0	0|0	0	0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0	0	0	0|0	0|0	0|0	0	0|0	0|0	0|0	0|0	0|0	0|0	0	0	0	0|0	0|0	0	0	0|0	0|0	0|0	0	0|0	0|0	0|0	0	0|0	0|0	0|0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0|0	0	0	0	0|0	0|0	0	0|0	0|0	0	0|0	0|0	0	0|0	0	0	0|0	0|0	0|0	0|0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0	0|0	0|0	0|0	0|0	0|0	0	0|0	0	0	0|0	0|0	0	0|0	0|0	0|0	0	0|0	0|0	0|0	0|0	0	0	0|0	0|0	0|0	0|0	0	0|0	0|0	0	0	0	0|0	0	0|0	0|0	0|0	0|0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0|0	0|0	0	0|0	0|0	0|0	0|0	0	0|0	0|0	0	0	0|0	0|0	0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0	0|0	0|0	0	0	0|0	0|0	0	0|0	0	0	0	0|0	0|0	0	0|0	0	0	0|0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0	0|0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0	0|0	0|0	0|0	0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0	0	0|0	0|0	0	0|0	0|0	0|0	0|0	0|0	0	0|0	0	0|0	0	0	0|0	0|0	0	0	0|0	0	0|0	0|0	0	0	0|0	0|0	0	0	0|0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0	0|0	0|0	0	0	0|0	0|0	0	0	0|0	0|0	0	0|0	0	0	0|0	0|0	0	0	0|0	0	0|0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0|0	0|0	0	0|0	0|0	0	0	0	0	0|0	0|0	0|0	0|0	0	0	0|0	0|0	0|0	0	0|0	0	0|0	0|0	0	0	0|0	0|0	0|0	0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0	0|0	0	0|0	0	0	0|0	0|0	0|0	0	0|0	0|0	0	0	0|0	0|0	0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0	0	0	0|0	0|0	0	0	0|0	0|0	0|0	0	0|0	0	0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0	0|0	0	0|0	0	0	0|0	0	0|0	0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0	0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0	0	0|0	0|0	0	0|0	0|0	0	0	0	0	0	0	0	0	0	0	0|0	0	0|0	0|0	0	0	0	0	0	0	0|0	0	0	0|0	0|0	0	0|0	0|0	0|0	0|0	0	0	0|0	0	0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0|0	0	0	0	0|0	0	0|0	0	0|0	0	0	0|0	0	0|0	0|0	0	0|0	0	0	0|0	0	0|0	0	0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0	0	0|0	0	0	0	0|0	0	0|0	0	0|0	0|0	0|0	0|0	0|0	1	0|0	0|0	0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0	0|0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0	0	0|0	0	0|0	0	0	0|0	0|0	0	0	0|0	0	0|0	0	0	0	0|0	0	0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0	0	0|0	0|0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0	0|0	0|0	0|0	0|0	0	0	0	0|0	0	0	0	0|0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0	0|0	0|0	0|0	0|0	0	0|0	0	0|0	0	0	0|0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0	0	0|0	0|0	0	0	0|0	0|0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0	0|0	0	0	0	0|0	0|0	0	0|0	0	0	0	0|0	0	0	0	0|0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0	0|0	0	0|0	0	0	0|0	0	0	0|0	0|0	0|0	0|0	0	0	0|0	0	0	0	0	0|0	0	0|0	0	0|0	0|0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0	0	0	0|0	0|0	0|0	0|0	0	0	0|0	0	0|0	0|0	0|0	0	0|0	0	0|0	0|0	0	0	0|0	0	0|0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0	0	0|0	0	0	0|0	0|0	0|0	0|0	0|0	0	0	0	0|0	0	0	0	0	0|0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0|0	0|0	0	0	0|0	0|0	0|0	0|0	0	0|0	0	0|0	0|0	0	0	0|0	0	0	0|0	0	0	0|0	0|0	0	0	0|0	0|0	0	0	0	0|0	0	0	0|0	0	0	0	0	0|0	0|0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0	0|0	0	0	0|0	0|0	0|0	0|0	0|0	0	0|0	0	0	0	0	0|0	0	0|0	0	0|0	0|0	0|0	0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0	0|0	0|0	0|0	0	0	0	0|0	0	0	0	0	0|0	0	0|0	0	0|0	0|0	0	0	0|0	0	0	0|0	0	0	0|0	0	0|0	0|0	0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0	0|0	0|0	0	0|0	0	0|0	0|0	0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0|0	0|0	0	0|0	0|0	0|0	0	0|0	0	0|0	0|0	0|0	0|0	0|0	0	0	0|0	0	0|0	0	0	0|0	0|0	0|0	0|0	0	0|0	0	0	0	0|0	0|0	0|0	0|0	0|0	0|0	0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0	0	0	0	0|0	0	0	0	0|0	0|0	0|0	0|0	0|0	0|0	0	0	0	0	0|0	0|0	0|0	0|0	0	0|0	0|0	0	0	0|0	0	0	0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0	0	0	0	0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0	0|0	0|0	0	0|0	0|0	0|0	0	0	0	0|0	0|0	0	0|0	0|0	0|0	0	0	0|0	0|0	0|0	0	0	0	0	0|0	0|0	0	0	0	0|0	0|0	0	0|0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0|0	0	0	0	0	0|0	0	0	0	0|0	0|0	0|0	0	0	0|0	0|0	0|0	0	0|0	0|0	0|0	0	0	0	0	0	0|0	0|0	0	0|0	0|0	0	0|0	0|0	0	0	0	0	0|0	0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0	0|0	0	0|0	0	0	0	0|0	0|0	0	0	0	0|0	0	0	0|0	0|0	0	0|0	0|0	0	0	0|0	0	0	0|0	0|0	0	0	0|0	0|0	0	0	0|0	0|0	0	0|0	0	0|0	0|0	0|0	0	0	0|0	0	0|0	0|0	0	0	0|0	0	0	0|0	0|0	0|0	0	0|0	0	0	0|0	0	0	0|0	0	0|0	0|0	0	0	0|0	0|0	0|0	0	0|0	0	0	0|0	0|0	0	0|0	0|0	0	0|0	0|0	0	0	0|0	0	0	0	0|0	0	0|0	0|0	0|0	0	0	0|0	0|0	0|0	0|0	0|0	0|0	0	0|0	0	0|0	0	0	0	0|0	0|0	0	0	0	0	0	0|0	0|0	0|0	0	0	0	0	0|0	0|0	0	0	0|0	0	0|0	0|0	0|0	0|0	0	0	0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0	0|0	0|0	0	0|0	0	0	0	0|0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0	0|0	0	0|0	0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0	0	0|0	0|0	0	0|0	0	0|0	0	0	0|0	0|0	0|0	0	0|0	0	0|0	0|0	0	0	0	0|0	0|0	0|0	0	0	0|0	0|0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0	0|0	0|0	0|0	0|0	0|0	0	0	0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0	0|0	0	0	0|0	0	0	0	0	0|0	0	0	0	0	0|0	0|0	0|0	0	0|0	0	0|0	0	0	0	0|0	0|0	0|0	0	0	0|0	0|0	0	0|0	0	0|0	0	0|0	0	0	0|0	0|0	0	0	0|0	0|0	0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0|0	0|0	0|0	0|0	0	0	0	0|0	0	0|0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0	0	0|0	0|0	0	0	0	0	0|0	0|0	0|0	0|0	0|0	0|0	0	0|0	0|0	0	0	0|0	0|0	0	0|0	0|0	0|0	0|0	0	0|0	0	0|0	0	0	0	0	0|0	0|0	0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0	0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0|0	0|0	0	0|0	0	0	0	0|0	0|0	0|0	0	0|0	0	0|0	0|0	0	0	0	0	0	0	0|0	0	0|0	0|0	0|0	0	0	0|0	0	0|0	0	0|0	0	0	0	0	0|0	0|0	0	0	0|0	0	0	0	0	0	0	0	0|0	0|0	0|0	0|0	0|0

GTShark output BCF :

X	6000044	.	C	T	100	PASS	AC=1;AF=0.000264901;AN=3775;NS=2504;DP=12694;AMR_AF=0;AFR_AF=0.001;EUR_AF=0;SAS_AF=0;EAS_AF=0;AA=C|||;VT=SNP	GT	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|2	0|2	0|2	0|2	0|2	0|2	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|0	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|2	0|2	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|0	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|2	0|2	0|0	0|0	0|0	0|0	0|2	0|0	0|0	0|2	0|2	0|2	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|2	0|2	0|0	0|0	0|2	0|2	0|2	0|2	0|0	0|0	0|0	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|2	0|2	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|0	0|0	1|2	0|0	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|2	0|2	0|2	0|2	0|0	0|0	0|0	0|0	0|2	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|0	0|0	0|0	0|2	0|2	0|0	0|2	0|2	0|2	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|2	0|0	0|0	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|2	0|2	0|2	0|0	0|0	0|0	0|0	0|0	0|2	0|2	0|2	0|0	0|2	0|2	0|2	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|2	0|2	0|0	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|0	0|0	0|0	0|2	0|0	0|2	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|0	0|2	0|2	0|2	0|0	0|2	0|2	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|0	0|0	0|2	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|0	0|0	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|2	0|2	0|2	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|0	0|0	0|0	0|0	0|2	0|2	0|2	0|2	0|2	0|0	0|0	0|0	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|2	0|2	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|2	0|2	0|0	0|0	0|0	0|2	0|2	0|2	0|2	0|0	0|0	0|2	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|2	0|2	0|2	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|0	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|0	0|0	0|2	0|2	0|2	0|2	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|2	0|2	0|2	0|0	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|2	0|2	0|2	0|2	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|2	0|0	0|0	0|0	0|2	0|2	0|2	0|0	0|0	0|0	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|2	0|2	0|2	0|2	0|2	0|0	0|0	0|0	0|2	0|2	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|0	0|0	0|0	0|2	0|2	0|2	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|2	0|2	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|0	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|2	0|2	0|2	0|2	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|2	0|2	0|2	0|2	0|2	0|0	0|2	0|2	0|0	0|2	0|2	0|2	0|2	0|0	0|2	0|2	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|0	0|2	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|2	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|0	0|0	0|2	0|2	0|2	0|2	0|0	0|2	0|2	0|0	0|0	0|0	0|0	0|0	0|2	0|0	0|0	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|2	0|0	0|0	0|2	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|0	0|2	0|0	0|2	0|0	0|0	0|2	0|2	0|2	0|2	0|2	0|2	0|0	0|2	0|2	0|2	0|0	0|0	0|0	0|2	0|2	0|0	0|2	0|0	0|2	0|0	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|0	0|0	0|2	0|2	0|0	0|2	0|2	0|2	0|2	0|2	0|2	0|2	0|0	0|0	0|0	0|0	0|0

Samples that were originally haploid ref 0 on chrX are now shown as phased diploid second alt allele 0|2, alt allele that doesn't exist.

It seems to be a recurring problem at all variant sites that have haploid genotype sample values.
The value should be MISSING or END_OF_VECTOR as per VCF/BCF specifications.
https://samtools.github.io/hts-specs/VCFv4.2.pdf
there is an example on page 26.

Best.
Rick

Compression - Decompression : Problem with large file (output bigger)

Hello.

I tried compressing a large BCF file I use as a reference and it seems something goes wrong because decompressed file is different (much larger) than input file.

I use the following command to compress

gtshark compress-db mybcf.bcf compressed

and following command to decompress

gtshark decompress-db -b compressed decompressed_bcf.bcf

My BCF file has 1,000,000 diploid phased samples and 2,271,035 variant entries.
This is a roughly 10GB BCF file.

I compressed it with gtshark and it resulted in a 5.8MB _db and 26M _gt.
This seemed a bit suspicious because the file size seems very small.
The compression finished in about 12 hours with no error message or error code

meta size: 60
header size: 516
samples size: 3068156
chrom size: 796
pos size: 1201908
id size: 796
ref size: 796
alt size: 796
qual size: 796
filter size: 1788
info size: 1736548

Processing time: 43270.2 seconds.

I launched the decompression, it has been running for more than a day, the output BCF is more than 26GB in size.
This seems off because the input file was about 10 GB. I checked that the output file was BCF (internally gzip compressed).

Output of software was :

Opening file of size: 6013013
Opening file of size: 27086378
2271035
Processing time: 129542 seconds.

No error messages or anything.

Did you run gtshark on large BCf files (millions of samples * millions of variants) ?

I am sorry I cannot share the BCF file because of size, I'll run some tests on the output file and keep you up to date on what I find.

Regards.
Rick

complie

Hi,
i got a error when i complie the gtshark.i use the Ubuntu 16.04.4

-lm -O3 -std=c++11 -pthread -mavx -lz -lbz2 -lcurl -llzma -L . -fabi-version=6
/usr/bin/ld: htslib/lib/libhts.a(hfile_s3.o): undefined reference to symbol 'EVP_sha1@@OPENSSL_1.0.0'
//lib/x86_64-linux-gnu/libcrypto.so.1.0.0: error adding symbols: DSO missing from command line

do u know how to solve the problem?

thanks a lot!

Recommend Projects

React

A declarative, efficient, and flexible JavaScript library for building user interfaces.
Vue.js

🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
Typescript

TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
TensorFlow

An Open Source Machine Learning Framework for Everyone
Django

The Web framework for perfectionists with deadlines.
Laravel

A PHP framework for web artisans
D3

Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

javascript

JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
web

Some thing interesting about web. New door for the world.
server

A server is a program made to process requests and deliver data to clients.
Machine learning

Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Visualization

Some thing interesting about visualization, use data art
Game

Some thing interesting about game, make everyone happy.

Recommend Org

Facebook

We are working to build community through open source technology. NB: members must have two-factor auth.
Microsoft

Open source projects and samples from Microsoft.
Google

Google ❤️ Open Source for everyone.
Alibaba

Alibaba Open Source for everyone
D3

Data-Driven Documents codes.
Tencent

China tencent open source team.