Enviar o conjunto de dados para o HuggingFace (opcional)

Método 1: envio local (não recomendado, velocidade de upload lenta)

• Envio automático

Ao coletar o conjunto de dados, defina push_to_hub=true; após a coleta, o envio é feito automaticamente

• Envio manual

Ao coletar o conjunto de dados, defina push_to_hub=false; após a coleta, faça o envio manualmente

hf upload Tommymy/lerobot_my_dataset_a /Users/tommy/.cache/huggingface/lerobot/Tommymy/lerobot_my_dataset_a / --repo-type=dataset

Tanto no envio automático quanto no manual, a velocidade de upload é muito lenta (cem KB por segundo)

Porque o servidor do HuggingFace está no exterior

Método 2: envio pela plataforma de GPU na nuvem (recomendado)

Fazer login na plataforma de GPU na nuvem Featurize

https://featurize.cn?s=d7ce99f842414bfcaea5662a97581bd1

Diga ao atendimento que você é fã do Zihao Xiong, da Tongji, para receber um cupom de crédito

Iniciar uma instância de GPU na nuvem

Enviar o pacote compactado do conjunto de dados para Conjuntos de dados

Copiar o comando de download da instância

Executar na linha de comando da instância de GPU na nuvem

pip install httpx

unzip lerobot_my_dataset_a.zip

hf auth login

Enviar o conjunto de dados para o HuggingFace

Crie um arquivo upload_dataset.py com o seguinte conteúdo

from huggingface_hub import HfApi

api = HfApi()

api.upload_folder(
    folder_path="~/lerobot_my_dataset_a",
    repo_id="Tommymy/lerobot_my_dataset_a",
    repo_type="dataset"
)

api.create_tag("Tommymy/lerobot_my_dataset_a", tag="v0.4.0", repo_type="dataset")

Executar o arquivo

python upload_dataset.py

• Outro método de envio (não recomendado)

hf upload Tommymy/lerobot_my_dataset_a lerobot_my_dataset_a / --repo-type=dataset

Ver o conjunto de dados no HuggingFace

https://huggingface.co/datasets/Tommymy/lerobot_my_dataset_a