rclone下载数据
介绍如何使用rclone下载数据。
安装
curl -O https://downloads.rclone.org/v1.61.1/rclone-v1.61.1-linux-amd64.zip
unzip XXX
安装完使用rclone config按照需求配置，比如我使用的name for new remote是ftp。
下载任务
目标：把/home/data里面的源数据下载到服务器的/home/biodata中，使用的是ftp：
nohup rclone copy ftp:/home/data/ /home/biodata -vv -P > "./rclone_sync.log" 2>&1 &
- /home/data/：结尾的斜杠加上表示下载该文件夹
下载单个文件
有时候只对单个的文件感兴趣，可以通过参数--include实现筛选，常规方法*.txt不适用：
rclone copy ftp:/home/data/ /local/data --include "filename_R1.fq.gz"
以下代码也无法实现单个文件下载，可能报错unsupported LIST line error，如下：
rclone copy ftp:/home/data/ /local/data/filename_R1.fq.gz
简单语法
查看当前目录下文件：
rclone ls ftp:
查看当前目录下文件夹：
rclone lsd ftp:
绝对路径
如果不知道绝对路径，可以使用该python脚本pwd.py寻找：
from ftplib import FTP
# Replace these values with your FTP server details
ftp_host = "ftp.yourwebsite.com"
ftp_port = 21
ftp_username = "your_username"
ftp_password = "your_password"
# Connect to FTP server
ftp = FTP()
ftp.connect(ftp_host, ftp_port)
ftp.login(ftp_username, ftp_password)
# Print the current working directory
print("Current working directory:", ftp.pwd())
# Disconnect from FTP server
ftp.quit()
python pwd.py