Просмотр исходного кода

HUE-7 [importer] Properly detect TSV input files

Getting 20 lines of sample data is enough, more confuses the sniffer.
Romain Rigaux 8 лет назад
Родитель
Сommit
410d65f
1 измененных файлов с 1 добавлено и 1 удалено
  1. 1 1
      desktop/libs/indexer/src/indexer/file_format.py

+ 1 - 1
desktop/libs/indexer/src/indexer/file_format.py

@@ -353,7 +353,7 @@ class CSVFormat(FileFormat):
   @classmethod
   def _get_sample(cls, file_stream):
     file_stream.seek(0)
-    sample = '\n'.join(file_stream.read(1024 * 1024 * 5).splitlines())
+    sample = '\n'.join(file_stream.read(1024 * 1024 * 5).splitlines()[:20])
     file_stream.seek(0)
 
     return sample