Caricare il dataset su HuggingFace (opzionale)

Metodo 1: caricamento locale (non consigliato, velocità di caricamento bassa)

• Caricamento automatico

Durante la raccolta del dataset imposta push_to_hub=true; al termine della raccolta il caricamento avverrà automaticamente

• Caricamento manuale

Durante la raccolta del dataset imposta push_to_hub=false; al termine della raccolta carica manualmente

hf upload Tommymy/lerobot_my_dataset_a /Users/tommy/.cache/huggingface/lerobot/Tommymy/lerobot_my_dataset_a / --repo-type=dataset

Sia con il caricamento automatico sia con quello manuale, la velocità di caricamento è molto bassa (cento KB al secondo)

Perché i server di HuggingFace si trovano all'estero

Metodo 2: caricamento tramite piattaforma GPU cloud (consigliato)

Accedere alla piattaforma GPU cloud Featurize

https://featurize.cn?s=d7ce99f842414bfcaea5662a97581bd1

Di' al servizio clienti di essere un fan di Tongji Zihao Xiong per ricevere un buono sconto

Avviare un'istanza GPU cloud

Caricare l'archivio compresso del dataset in dataset

Copiare il comando di download dell'istanza

Eseguire dalla riga di comando dell'istanza GPU cloud

pip install httpx

unzip lerobot_my_dataset_a.zip

hf auth login

Caricare il dataset su HuggingFace

Crea il file upload_dataset.py con il seguente contenuto

from huggingface_hub import HfApi

api = HfApi()

api.upload_folder(
    folder_path="~/lerobot_my_dataset_a",
    repo_id="Tommymy/lerobot_my_dataset_a",
    repo_type="dataset"
)

api.create_tag("Tommymy/lerobot_my_dataset_a", tag="v0.4.0", repo_type="dataset")

Eseguire il file

python upload_dataset.py

• Un altro metodo di caricamento (non consigliato)

hf upload Tommymy/lerobot_my_dataset_a lerobot_my_dataset_a / --repo-type=dataset

Visualizzare il dataset su HuggingFace

https://huggingface.co/datasets/Tommymy/lerobot_my_dataset_a