Importando um arquivo texto no MySQL com o LOAD
Postado por Adauto Santos
Ao escrever o artigo Importandos arquivos de dados no SQL*Loader tive a ideia de abordar um mecanismo semelhante no MySQL. Em meu Trabalho de Conclusão de Curso esse recurso me auxiliou bastante, pois a ferramenta na qual estava trabalhando com a simulação gerava arquivos texto muito extensos. A exigência dos testes dos cenários juntamente com a quantidade de vezes em que uma simulação precisava ser executada, fez com que a quantidade de dados ultrapassasse 600GB.
Na época a maneira que encontrei para trabalhar com a informação foi importá-la para o MySQL e em seguida consultá-la por meio do SQL (foi a conclusão que eu cheguei na época).
O comando
O comando LOAD do MySQL é muito simples (mais simples que o SQL*Loader talvez) basta apenas digitar o comando a seguir, no qual você precisa apenas referenciar o arquivo e a tabela que você quer importar.
LOAD DATA LOCAL INFILE 'arquivo_a_ser_importado.txt' INTO TABLE ENDERECO;
arquivo_a_ser_importado.txt
1;Adauto Santos;adauto@senseitreinamentos.com.br;Maringá;87010100 2;Nicole Souza Costa;nicole@senseitreinamentos.com.br;Sarandi;87020100 3;Martim Ribeiro Gomes;martim@senseitreinamentos.com.br;Marialva;87030100 4;Luana Castro Alves;luana@senseitreinamentos.com.br;Cafelândia;87040100 5;Alvito Solange Bivar;alvito@senseitreinamentos.com.br;Astorga;87050100 6;Belchior Edite Rufino;belchior@senseitreinamentos.com.br;Paiçandu;87060100 7;Luiza Silva Azevedo;luiza@senseitreinamentos.com.br;Nova Esperança;87070100
Tabela ENDERECO
CREATE TABLE ENDERECO ( SEQ INT(11), NOME VARCHAR(70), EMAIL VARCHAR(100), CIDADE VARCHAR(100), CD_CEP INT(8) );
O prompt do MySQL irá informar quantos registros foram importados (ou rejeitados) durante o processo e você poderá consultá-los na sequência. Como pode ser observado na tabela que se segue.
A explicação
Como visto na seção anterior o comando precisa obrigatoriamente conter o arquivo e a tabela destino. Contudo, o comando pode se tornar um pouco mais completo adicionando: a delimitação dos campos, que linhas importar (ou ignorar), se os dados serão substituídos à partir da análise das chaves o charset e etc.
O comando pode ser observado na documentação oficial da MySQL, mas as opções serão detalhadas abaixo de maneira sucinta, para que você consiga criar um comando que atenda às suas necessidades.
LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name'
[REPLACE | IGNORE]
INTO TABLE tbl_name
[PARTITION (partition_name [, partition_name] ...)]
[CHARACTER SET charset_name]
[{FIELDS | COLUMNS}
[TERMINATED BY 'string']
[[OPTIONALLY] ENCLOSED BY 'char']
[ESCAPED BY 'char']
]
[LINES
[STARTING BY 'string']
[TERMINATED BY 'string']
]
[IGNORE number {LINES | ROWS}]
[(col_name_or_user_var
[, col_name_or_user_var] ...)]
[SET col_name={expr | DEFAULT},
[, col_name={expr | DEFAULT}] ...]
Prioridade
Informá-lo faz com que a importação tenha dois comportamentos: adiar o LOAD até que que nenhuma sessão esteja lendo a tabela (LOW_PRIORITY) ou fazer com a que a importação transcorra simultaneamente com as demais sessões (CONCURRENT).
Local
Determina o local de leitura do arquivo. Utilizar a palava-chave LOCAL faz com que o arquivo seja importado da máquina local para o servidor, sendo que para isso o arquivo será duplicado no diretório temporário do Sistema Operacional. Não informar a palavra-chave limita o processo de importação exclusivamente ao servidor.
De modo geral, a importação à paritr da máquina local é mais lenta, pois exige a transmissão do arquivo via rede. Porém o tratamento dos erros é mais simples, por exemplo, um erro no processo de importação não impede a sua finalização, o mesmo não ocorre na importação no servidor.
Substituir ou ignorar
A escolha a palavra-chave REPLACE impõe que os registros sejam confrontados com as chaves-primárias e únicas da tabela, em caso afirmativo os registros são alterados. O padrão é IGNORE, ou seja, as linhas duplicadas serão descartadas.
Ressalta-se que a utilização da palavra-chave LOCAL pode impactar na carga de dados, se as opções escolhidas forem IGNORE e LOCAL o processo continuará até o final e as linhas não serão importadas, por outro lado se as opções forem IGNORE e o processo estiver rodando no servidor do Banco de Dados a importação será cancelada na duplicidade de chave.
Particionamento
Essa opção determina que a carga de dados se baseie no particionamento pré-estabelecido para a tabela em questão, sendo assim, caso um registro não respeite os critérios de particionamento da tabela o processo irá retornar um erro.
Character Set
Define qual será o conjunto de caracteres a ser utilizado. Normalmente, essa opção não é utilizada e dessa forma o charset do servidor é respeitado.
Delimitação dos campos
Estabelece qual será o delimitador dos campos, para isso qualquer caracter pode ser escolhido para isso, sendo que pode ser escolhido um caractere opcional em conjunto ao principal.
Delimitação das linhas
Aponta à partir de que momento a linha é lida e finalizada, pois pode-se desejar importar apenas parte do arquivo, por exemplo, a importação ocorrerá à partir de "Contrato:" e terminará em"|".
Escolha de colunas
Indica quais serão as colunas serão alimentadas, por exemplo, na tabela ENDERECO, apenas se deseja importar a sequência, o nome e o e-mail do registro em questão.
Meus Testes
Para comparar a performance da importação do LOAD em relação ao INSERT comum, foram criados três arquivos de texto no padrão e com os dados descritos na seção anterior. Os resultados obtidos podem ser observados na tabela a seguir.
| Qtde. de registros | Importação via LOAD | Carga via INSERT |
| 132.300 | 1,41 segundos | 8 minutos e 25 segundos |
| 264.600 | 3,02 segundos | 17 minutos e 21 segundos |
| 302.680 | 3,21 segundos | 20 minutos e 20 segundos |
Referências
https://dev.mysql.com/doc/refman/5.7/en/load-data.html
