Transferir dados

O Transfer Appliance é compatível com os seguintes métodos para copiar dados para o dispositivo:

• SCP ou SFTP para Microsoft Windows, Linux e macOS.
• Compartilhamento NFS para Linux e macOS
• Compartilhamento de SMB para Microsoft Windows e Linux.
• Monte no dispositivo para NFS e CIFS.

Depois de copiar dados para o Transfer Appliance, verificar se a transferência de dados para o A conclusão do bucket do Cloud Storage é feita antes da exclusão dos dados de origem.

Requisitos de nomenclatura e tamanho de arquivo

Os arquivos enviados para o dispositivo precisam estar em conformidade com o Cloud Storage limites de tamanho de arquivo e diretrizes de nomenclatura:

• Os limites de tamanho de arquivo estão documentados no Cotas e de limites de desempenho.
• As diretrizes de nome de arquivo estão documentadas no Diretrizes de nomenclatura de objetos.

O Transfer Appliance não valida nomes ou tamanhos de arquivos. Se o appliance contém arquivos que não obedecem a essas regras quando o appliance for enviado de volta ao Google, talvez não seja possível transferir esses arquivos.

Usar SCP ou SFTP para copiar dados

Para copiar dados no dispositivo usando SCP ou SFTP, siga estas etapas:

Usar o compartilhamento NFS para copiar dados

Para copiar dados no dispositivo usando o compartilhamento de NFS, siga estas etapas:

1. Para montar o Transfer Appliance, execute os seguintes comandos na fonte de dados:

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Substitua IP_ADDRESS pelo endereço IP do dispositivo.

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Substitua IP_ADDRESS pelo endereço IP do dispositivo.

2. Para copiar dados no dispositivo, use um utilitário de cópia de sua escolha.

   A cópia de dados é uma operação de longa duração. No Apple macOS ou Linux, recomendamos usar tmux ou screen para garantir que o processo de cópia sobreviva ao logout ou às desconexões da rede.

Salvar sua chave SSH

Salve sua chave SSH para logins mais rápidos no Transfer Appliance. Salvar a chave SSH também pode melhorar a velocidade de transferência.

1. Na estação de trabalho, gere um par de chaves usando o seguinte comando:

   posix-terminal
   ssh-keygen -t rsa
   

2. Crie um arquivo /tmp/ssh_key no dispositivo.

3. Copie o conteúdo do arquivo de chave pública da estação de trabalho para o /tmp/ssh_key no dispositivo. O arquivo de chave pública está no seguinte na estação de trabalho:

   • Linux: ~/.ssh/id_rsa.pub
   • No Windows: C:Users/USERNAME/.ssh

   Para autorizar várias chaves, adicione cada uma em uma nova linha em /tmp/ssh_key.

4. Execute o comando a seguir no dispositivo. Todas as chaves atuais são substituídas.

   ta copy_ssh_keys
   

5. Faça login no dispositivo.

   • Se a chave privada estiver no local padrão da estação de trabalho, use o comando a seguir para fazer login no dispositivo:

     ssh ta_customer@IP_ADDRESS
     

   • Se a chave privada não estiver no local padrão, use o seguinte comando: para fazer login no dispositivo:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

Usar o SMB para transferir dados

Para ativar o compartilhamento de arquivos SMB, siga as etapas abaixo:

1. Configure o appliance para usar SMB usando o seguinte compartilhamento de arquivos flag de protocolo:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   O diretório ta_data é compartilhado e o seguinte usuário é criado:

   • Nome de usuário: ta_customer
   • Senha: ta_customer

2. Com base no seu tipo de host, conecte-se ao compartilhamento de arquivos SMB:

   Dispositivo Microsoft Windows

   Gerenciador de arquivos

   1. Abra o gerenciador de arquivos e edite o caminho do arquivo para \\IP_ADDRESS\ta_data.

   2. Digite seu nome de usuário e senha quando solicitado.

   Linha de comando

   1. Digite o seguinte no prompt de comando do Windows: net use X: \\IP_ADDRESS\ta_data

   2. Digite seu nome de usuário e sua senha quando solicitado.

   Linux

   Gerenciador de arquivos

   1. Abra o gerenciador de arquivos padrão e clique em Conectar ao servidor.

   2. Digite smb://IP_ADDRESS/ta_data.

   3. Digite seu nome de usuário e sua senha quando solicitado.

   Linha de comando

   1. Instalar o cliente SMB: sudo apt-get install smbclient.

   2. Conecte-se ao compartilhamento de arquivos SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      Uma solicitação smb:\> será exibida.

Usar seus próprios compartilhamentos de arquivos no dispositivo

O dispositivo utiliza um comando de montagem do Linux encapsulado para montar compartilhamentos na appliance:

1. Execute os comandos a seguir:

   NFS

   1. Atualize o arquivo /etc/exports no dispositivo que hospeda o servidor NFS concedendo acesso de IP_ADDRESS ao servidor.

   2. Execute os seguintes comandos no dispositivo:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Substitua:

      • IP_ADDRESS: o endereço IP do dispositivo.
      • MOUNT_POINT: o nome do ponto de montagem. compartilhar.
      • NFS_SERVER_IP: o endereço IP do dispositivo que está hospedando o servidor NFS
      • NFS_DIRECTORY: o caminho para o compartilhamento de NFS.
      • OPTIONS: a lista de opções separada por vírgulas. Essas opções são as permitidas pelo comando de montagem do Linux.

   CIFS

   1. Execute os seguintes comandos no dispositivo:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Substitua:

      • MOUNT_POINT: o nome do ponto de montagem. compartilhar.
      • CIFS_SERVER_IP: o endereço IP do dispositivo que hospeda o servidor CIFS.
      • CIFS_NAME: o nome do compartilhamento CIFS.
      • OPTIONS: a lista de opções separada por vírgulas, incluindo a senha e o nome de usuário do compartilhamento CIFS. Essas opções são as permitidas pelo comando "mount" do Linux.

   A menos que seja especificado de outra forma nas opções de montagem, o ponto de montagem remontado após a reinicialização até que você o remova com o botão "ta unmount" kubectl.

2. Para desconectar os suportes do dispositivo, execute o seguinte:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. Para copiar dados no dispositivo, use um utilitário de cópia de sua escolha.

   RClone

   1. Para executar um comando de cópia com o RClone no dispositivo, execute o seguinte:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Substitua:

      • MOUNT_POINT: o diretório que contém os dados a serem transferidos.

   Extrair do arquivo

   1. Para arquivar os dados em arquivos .tar durante a transferência, execute o seguinte:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Substitua:

      • MOUNT_POINT: o diretório que contém os dados a serem transferidos.
      • ARCHIVE_SIZE_BYTES: o tamanho de destino das bolas de tar a serem geradas no destino. O padrão é 1 GB, e a expectativa é entre 5 MB e 20 GB.
      • THREAD_COUNT: o número de linhas de execução em execução simultaneamente, criando arquivos. O padrão é 20, o esperado é um valor entre 1 e 10.000.

      Arquive as execuções de pull em segundo plano para sair com segurança do terminal. O pull começa com uma fase de listagem dos dados antes do início da transferência.

   2. Um ID é retornado quando você inicia um pull. Esse valor pode ser usado para interagir com o pull:

      Para verificar o status de um pull, execute o seguinte:

      ta pull --id=ID --status

      Para pausar um pull, execute o seguinte:

      ta pull --id=ID --pause

      Para retomar um pull pausado ou interrompido, execute o seguinte:

      ta pull --id=ID --resume

      Substitua:

      • ID: o ID do pull.

   3. Depois que o pull terminar, as bolas tar poderão ser encontradas no diretório /mnt/ta_data/TA_ARCHIVE_ID/. Um arquivo de manifesto será gerado e salvo em /mnt/ta_data/manifest_ID.tsv. Esse arquivo terá informações sobre os arquivos transferidos, detalhando qual arquivo tar ball contém quais arquivos estão armazenados. Um arquivo de manifesto de erro também será salvo em /mnt/ta_data/manifest_ID_ERROR.tsv, com detalhes sobre os erros encontrados durante o pull.

   É recomendável executar um comando "pull" por vez.

   Os testes de velocidade foram realizados com um conjunto de dados de 100 GB em um TA7. Esses valores são compartilhados para ajudar a decidir entre os dois utilitários de cópia oferecidos. A velocidade de transferência pode ser afetada pelo tipo de dispositivo e pela conectividade de rede.

   Método	Tamanho do arquivo	Bytes de tamanho do arquivo (somente Archive Pull)	Taxa (NFS)	Taxa (PME)
   RClone	100 MB	N/A	600 MB/s	620 MB/s
   Arquivar extração	100 MB	10 GB	750 MB/s	850 MB/s
   RClone	1 MB	N/A	280 MB/s	270 MB/s
   Arquivar extração	1 MB	500 MB	630 MB/s	380 MB/s
   RClone	100 KB	N/A	150 MB/s	150 MB/s
   Arquivar extração	100 KB	5 MB	270 MB/s	90 MB/s