Script in python per estrarre in modo semi-automatico i metadati descrittivi, codificati in standard Dublin Core, di siti e pagine web

Per l'utilizzo degli scripts è necessario aver scaricato Python 3.8+ sul proprio dispositivo, per installare Python seguire le istruzioni riportate al seguente link.

Una volta eseguito il download è possibile verificare le versioni di Python e pip tramite i comandi:

python --version

pip --version

Per non compromettere l'installazione di Python e le relative librerie è consigliabile creare un ambiente virtuale indipendente dal proprio sistema; per la creazione di un ambiente virtuale procedere come segue:

Creare l'ambiente virtuale

python -m venv pyenv

Attivare l'ambiente virtuale:

source pyenv/bin/activate

Una volta attivato l'ambiente virtuale è possibile procedere con l'installazione delle librerie necessarie

pip install -r requirements.txt

Una volta scaricato il repository e scaricate le librerie necessarie, per avviare lo script sarà sufficiente eseguire il comando:

python nome_file.py

Per la versione client (GUI) si aprirà una finestra di sistema per la selezione del file da processare;

La versione server (CLI) comunica direttamente con l'API di Archive-it, è quindi necessario disporre di un account Archive-it e del relativo token di accesso.

Una volta installate le librerie e modificato il file .env inserendo il proprio token, sarà sufficiente lanciare lo script

python arcapi.py

una volta avviato verrà chiesto di inserire il Crawl_ID in modo da accedere al relativo Crawl Report e scaricare automaticamente gli URL da processare.

Una volta completata l'operazione, all'interno della stessa cartella verrà creato un file Crawl_ID_document_metadata.csv contenente i metadati inclusi nei metatags dei siti archiviati.