oscar-project / corpus Goto Github PK

from datasets import load_dataset

dataset = load_dataset("oscar-corpus/OSCAR-2109", "unshuffled_deduplicated_af")

---------------------------------------------------------------------------
ConnectionError                           Traceback (most recent call last)
/tmp/ipykernel_24000/136913172.py in <module>
      1 from datasets import load_dataset
      2 
----> 3 dataset = load_dataset("oscar-corpus/OSCAR-2109", "unshuffled_deduplicated_af")

~/env_test/lib/python3.7/site-packages/datasets/load.py in load_dataset(path, name, data_dir, data_files, split, cache_dir, features, download_config, download_mode, ignore_verifications, keep_in_memory, save_infos, revision, use_auth_token, task, streaming, script_version, **config_kwargs)
   1613         revision=revision,
   1614         use_auth_token=use_auth_token,
-> 1615         **config_kwargs,
   1616     )
   1617 

~/env_test/lib/python3.7/site-packages/datasets/load.py in load_dataset_builder(path, name, data_dir, data_files, cache_dir, features, download_config, download_mode, revision, use_auth_token, script_version, **config_kwargs)
   1440         download_config.use_auth_token = use_auth_token
   1441     dataset_module = dataset_module_factory(
-> 1442         path, revision=revision, download_config=download_config, download_mode=download_mode, data_files=data_files
   1443     )
   1444 

~/env_test/lib/python3.7/site-packages/datasets/load.py in dataset_module_factory(path, revision, download_config, download_mode, force_local_path, dynamic_modules_path, data_files, **download_kwargs)
   1154                         f"Couldn't find '{path}' on the Hugging Face Hub either: {type(e1).__name__}: {e1}"
   1155                     ) from None
-> 1156                 raise e1 from None
   1157     else:
   1158         raise FileNotFoundError(

~/env_test/lib/python3.7/site-packages/datasets/load.py in dataset_module_factory(path, revision, download_config, download_mode, force_local_path, dynamic_modules_path, data_files, **download_kwargs)
   1133                         download_config=download_config,
   1134                         download_mode=download_mode,
-> 1135                         dynamic_modules_path=dynamic_modules_path,
   1136                     ).get_module()
   1137                 else:

~/env_test/lib/python3.7/site-packages/datasets/load.py in get_module(self)
    843     def get_module(self) -> DatasetModule:
    844         # get script and other files
--> 845         local_path = self.download_loading_script()
    846         dataset_infos_path = self.download_dataset_infos_file()
    847         imports = get_imports(local_path)

~/env_test/lib/python3.7/site-packages/datasets/load.py in download_loading_script(self)
    828     def download_loading_script(self) -> str:
    829         file_path = hf_hub_url(path=self.name, name=self.name.split("/")[1] + ".py", revision=self.revision)
--> 830         return cached_path(file_path, download_config=self.download_config)
    831 
    832     def download_dataset_infos_file(self) -> str:

~/env_test/lib/python3.7/site-packages/datasets/utils/file_utils.py in cached_path(url_or_filename, download_config, **download_kwargs)
    303             use_etag=download_config.use_etag,
    304             max_retries=download_config.max_retries,
--> 305             use_auth_token=download_config.use_auth_token,
    306         )
    307     elif os.path.exists(url_or_filename):

~/env_test/lib/python3.7/site-packages/datasets/utils/file_utils.py in get_from_cache(url, cache_dir, force_download, proxies, etag_timeout, resume_download, user_agent, local_files_only, use_etag, max_retries, use_auth_token)
    592             raise FileNotFoundError("Couldn't find file at {}".format(url))
    593         _raise_if_offline_mode_is_enabled(f"Tried to reach {url}")
--> 594         raise ConnectionError("Couldn't reach {}".format(url))
    595 
    596     # Try a second time

ConnectionError: Couldn't reach https://huggingface.co/datasets/oscar-corpus/OSCAR-2109/resolve/main/OSCAR-2109.py

> dataset['train'][10000000] # Wrong
{'id': 10000000,
 'meta': {'headers': {'content-length': 43729,
   'content-type': 'text/plain',
   'warc-block-digest': 'sha1:UPBAHYJIQJ4L7PGUTQ4P2HMK362EJI3C',
   'warc-date': '2021-03-03T11:48:41Z',
   'warc-identified-content-language': 'eng,vie',
   'warc-record-id': '<urn:uuid:ff775a03-e278-4bb0-b66f-4ff5ddd108df>',
   'warc-refers-to': '<urn:uuid:02979651-d9ca-4830-a483-6e24b4e02238>',
   'warc-target-uri': 'https://chipi.vn/blogs/tin-thoi-trang/ao-tam-ho-phan-chan-nguc-lua-chon-cua-nhung-co-nang-ua-ho-bao',
   'warc-type': 'conversion'},
  'nb_sentences': 14,
  'offset': 2523135},
 'text': 'Combo Sách Quản Trị : Kế Toán Quản Trị (Managerial Accounting) + Quản Trị Trong Thời Khủng Hoảng - Chiến Lược Biến Đổi Những Mối Đe Dọa Thành Cơ Hội Phát Triển | Tiki\nTrang chủNhà Sách TikiSách tiếng ViệtSách kinh tếSách quản trị, lãnh đạoCombo Sách Quản Trị : Kế Toán Quản Trị (Managerial Accounting) + Quản Trị Trong Thời Khủng Hoảng - Chiến Lược Biến Đổi Những Mối Đe Dọa Thành Cơ Hội Phát Triển\nGiống như ngọn hải đăng cần mẫn dẫn đường cho người thủy thủ, Kế toán quản trị đã dẫn dắt hàng triệu người đọc dấn thân khám phá “vùng biển” kế toán quản trị. Tổng hợp 12 chủ điểm quan trọng cùng cách truyền đạt súc tích, dễ hiểu, cuốn sách sẽ đem đến cho người đọc một góc nhìn vừa bao quát, vừa chi tiết nhưng cũng rất thực tế về kế toán quản trị. Các chương trong sách bao gồm:\nRay H. Garrison là Giáo sư Kế toán của Đại học Brigham. Ông cũng là cố vấn quản trị của nhiều công ty kế toán trong khu vực và toàn liên bang Hoa Kỳ.\nEric W. Noreen hiện đang giảng dạy tại khoa Kế toán, Trường Kinh doanh Fox thuộc Đại học Temple. Ông là tác giả của nhiều bài báo về kế toán quản trị được đăng trên các tạp chí quốc tế có uy tín.\nPeter C. Brewer hiện là giảng viên khoa Kế toán, Trường Đại học Wake Forest. Ông đã có 19 năm là Giáo sư Kế toán của Trường Đại học Miami và có hơn 40 bài báo trong lĩnh vực kế toán quản trị trên\nQuản trị trong thời khủng hoảng là một trong những cuốn sách kinh điển về quản trị. Cuốn sách tập trung hoàn toàn vào các hành động, chiến lược và cơ hội, những điều các nhà quản trị có thể làm, nên làm và phải làm trong những thời kỳ biến động, khủng hoảng. Trong cuốn sách này, Peter F. Drucker trả lời một cách chính xác và rõ ràng 3 câu hỏi:\n\nĐinh TịFirst News - Trí ViệtĐại Mai Books-Công Ty Cổ Phần Văn Hóa Đông ANhà Sách Đại MaiNhã Nam Kim ĐồngCrabit KidbooksCty TNHH Sách WABOOKSCông Ty CP Văn Hóa Nhân VănNXB Chính Trị Quốc Gia Sự ThậtNXB Kim ĐồngNXB TrẻNXB Âm NhạcNhiều công ty phát hànhNhà Sách Hồng ÂnNhà Xuất Bản Kim ĐồngThái HàTân Việt\nCombo 4 cuốn truyện tranh song ngữ - Truyện tranh ngụ ngôn dành cho thiếu nhi song ngữ Anh - Việt ( Kiến và chim + sư tử và chuột nhắt+ sói và sóc + chuột , gà trống và mèo )\nCánh Én Tuổi Thơ - 90 Bài Hát Thiếu Nhi Về Thế Giới Loài Vật- Có Phần Hòa Âm Dành Cho Người Chơi Đàn (Kèm Cd)\nCombo sách khoa học điển hình dành cho trẻ: 100 bí ẩn đáng kinh ngạc về lịch sử - 100 things to know about history +100 bí ẩn đáng kinh ngạc về số, máy tính và mã hóa - 100 things to know about numbers, computers & coding\n\nVé máy bay đi Đức giá rẻ. Nằm ở vị trí trung tâm Châu Âu, và được bao bọc bởi 9 quốc gia, Đức đã trở thành một trong những điểm du lịch hấp dẫn cho mọi du khách khi đến thăm Châu Âu. Hôm nay Tìm chuyến bay sẽ đưa bạn đến Đức, quốc gia có lịch sử phát triển lâu đời, nền văn hóa phong phú, nơi có nhiều bảo tàng lịch sử, nghệ thuật, những công trình kiến trúc nổi tiếng đặc biệt là các lâu đài. Ngoài ra Đức còn có cảnh sắc thiên nhiên tươi đẹp, và nhiều lễ hội sôi động. Hi vọng bạn sẽ có nhiều trải nghiệm khó quên khi đến nước Đức.'}

> dataset['train'][2000] # Wrong
{'id': 2000,
 'meta': {'headers': {'content-length': 2519,
   'content-type': 'text/plain',
   'warc-block-digest': 'sha1:XWZHMUSNYWHL7VEOM4BHSUCHY3N52523',
   'warc-date': '2021-02-25T14:14:34Z',
   'warc-identified-content-language': 'vie,eng',
   'warc-record-id': '<urn:uuid:eca6a11d-d7e2-440c-af2b-2286e6c3a096>',
   'warc-refers-to': '<urn:uuid:4e96c6d3-80db-41c0-a07d-ada90a97080e>',
   'warc-target-uri': 'https://u-os.org/banh-ngon-mien-tay-banh-cu-cai',
   'warc-type': 'conversion'},
  'nb_sentences': 1,
  'offset': 18147},
 'text': 'Trong các hạng mục thi công xây dựng chắc chắn không thể thiếu được chống thấm. Một công trình nhà ở có nhiều vị trí cần chống thấm nhưng đáng quan tâm nhất là chống thấm sàn mái. Đây là khu vực phải tiếp xúc với nước, chịu ảnh hưởng trực tiếp của khí hậu tác động đến kết cấu, thẩm mỹ và tuổi thọ công trình. Hiểu rõ tầm quan trọng ấy, hôm nay chongthamvietthai sẽ mang đến bạn 5 loại vật liệu chống thấm sàn mái tốt nhất, với tuổi thọ trên 25 năm.'}

import fasttext
model = fasttext.load_model('lid.176.ftz')
print(model.predict('Маҳаллий расмийлар агар у пахта теримига чиқмаса, набираси учун тўланадиган нафақадан маҳрум этилиши билан таҳдид қилишгани.', k=2))

python -c "from datasets import load_dataset; load_dataset('oscar', 'unshuffled_deduplicated_en', split='train', keep_in_memory=False, cache_dir='cache')"

cd cache/downloads
find . -type f -size +50k | xargs -n1  gunzip -c | fgrep -a '\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\' | tee data-with-many-slashes.txt

$ perl -lne 'm|(\\{10000,})| && print length $1' data-with-many-slashes.txt | wc -l
4245

perl -lne 'm|(\\{10000,})| && print length $1' data-with-many-slashes.txt | sort -V

Sitemize �yelik ve i�eri�in indirilmesi tamamen �cretsizdir. Sitemizde payla��lan t�m dok�manlar (Tezler, makaleler, ders notlar�, s�nav soru cevaplar, projeler) payla��mc�lar�n bireysel �al��malar� olup telif haklar� kendilerine aittir ya da a��k bir �ekilde kamusal alana yerle�tirilmi� dok�manlar�n birer kopyalar�d�r. Ki�ilerin bireysel �al��malar�n� sitemizde y�klemesinde, sitemizde payla��ma te�vik eden puanlama sisteminin de etkisi b�y�kt�r. Bunlara ra�men hala size ait olan ve burada bulunmas�na izin vermedi�iniz dok�manlar varsa ileti�im b�l�m�nden y�neticilere bildirmeniz durumunda derhal silineceklerdir.

<meta http-equiv="Content-Type" content="text/html; charset=windows-1254" />