データセットをHuggingFaceにアップロード(任意)
方法1:ローカルアップロード(非推奨、アップロード速度が遅い)
- 自動アップロード
データセットの収集時にpush_to_hub=trueを設定すると、収集完了後に自動的にアップロードされます

- 手動アップロード
データセットの収集時にpush_to_hub=falseを設定すると、収集完了後に手動でアップロードします
Shell
hf upload Tommymy/lerobot_my_dataset_a /Users/tommy/.cache/huggingface/lerobot/Tommymy/lerobot_my_dataset_a / --repo-type=dataset自動アップロードであっても手動アップロードであっても、アップロード速度はどちらも非常に遅いです(毎秒 100KB)
HuggingFaceのサーバーが海外にあるためです
方法2:クラウドGPUプラットフォームへのアップロード(推奨)
クラウドGPUプラットフォームFeaturizeにログインする
https://featurize.cn?s=d7ce99f842414bfcaea5662a97581bd1
カスタマーサポートに同済子豪兄のファンだと伝えると、代金券を受け取れます
クラウドGPUインスタンスを起動する
データセットの圧縮ファイルをデータセットにアップロードする
インスタンスのダウンロードコマンドをコピーする

クラウドGPUインスタンスのコマンドラインで実行する
Shell
pip install httpx
unzip lerobot_my_dataset_a.zip
hf auth loginデータセットをHuggingFaceにアップロードする
upload_dataset.pyファイルを作成し、内容は以下のとおりです
Python
from huggingface_hub import HfApi
api = HfApi()
api.upload_folder(
folder_path="~/lerobot_my_dataset_a",
repo_id="Tommymy/lerobot_my_dataset_a",
repo_type="dataset"
)
api.create_tag("Tommymy/lerobot_my_dataset_a", tag="v0.4.0", repo_type="dataset")ファイルを実行する
Shell
python upload_dataset.py
- 別のアップロード方法(非推奨)
Shell
hf upload Tommymy/lerobot_my_dataset_a lerobot_my_dataset_a / --repo-type=dataset
HuggingFace上のデータセットを確認する
https://huggingface.co/datasets/Tommymy/lerobot_my_dataset_a



