我想在
Linux中使用数以百万行的字符串洗牌一个大文件.我尝试’sort -R’但是它非常慢(对于16M大文件,需要50分钟).有更快的实用程序,我可以在它的地方使用吗？
解决方法
使用shuf而不是排序-R(
man page).
排序-R的缓慢是probably due to it hashing every line.Shuf只是一个随机排列,所以它没有这个问题.
(这是在评论中提出的,但由于某些原因没有被写为任何人的答案)
最快的方法来在Linux中的文件中洗牌
dawei
2021年2月21日 4:40
我想在 Linux中使用数以百万行的字符串洗牌一个大文件.我尝试’sort -R’但是它非常慢(对于16M大文件,需要50分钟).有更快的实用程序,我可以在它的地方使用吗？ 使用shuf而不是排序-R( man page). 排序-R的缓慢是probably due to it hashing every line.Shuf只
