Linux里面提供了,许多简洁的shell命令,而这些命令不仅简洁,而且作用十分强大,散仙今天要与大家分享的是关于在linux里面如何拆分,分割文件,和如何合并文件,当然在文章末,还会记录一下,另外几个有用的命令。
关于文件分割最有用的命令就是split命令了,下面看下split的用法:
NAME
split - split a file into pieces
SYNOPSIS
split [OPTION]... [INPUT [PREFIX]]
DESCRIPTION
Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default size is 1000 lines, and default PREFIX is ‘x’. With no INPUT, or when INPUT is
-, read standard input.
Mandatory arguments to long options are mandatory for short options too.
-a, --suffix-length=N
use suffixes of length N (default 2)
-b, --bytes=SIZE
put SIZE bytes per output file
-C, --line-bytes=SIZE
put at most SIZE bytes of lines per output file
-d, --numeric-suffixes
use numeric suffixes instead of alphabetic
-l, --lines=NUMBER
put NUMBER lines per output file
--verbose
print a diagnostic just before each output file is opened
--help display this help and exit
--version
output version information and exit
SIZE may be (or may be an integer optionally followed by) one of following: KB 1000, K 1024, MB 1000*1000, M 1024*1024, and so on for G, T, P, E, Z, Y.
AUTHOR
Written by Torbjorn Granlund and Richard M. Stallman.
REPORTING BUGS
Report split bugs to bug-coreutils@gnu.org
GNU coreutils home page: <http://www.gnu.org/software/coreutils/>
General help using GNU software: <http://www.gnu.org/gethelp/>
Report split translation bugs to <http://translationproject.org/team/>
COPYRIGHT
Copyright © 2010 Free Software Foundation, Inc. License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it. There is NO WARRANTY, to the extent permitted by law.
SEE ALSO
The full documentation for split is maintained as a Texinfo manual. If the info and split programs are properly installed at your site, the command
:
(1)按行数切分:split -l 2000 要分割的文件 子文件的前缀
(2)按大小切分: split -b 20m 要分割的文件 子文件的前缀
(3)split -l 2482 ../BLM/BLM.txt -d -a 4 BLM_
将 文件 BLM.txt 分成若干个小文件,每个文件2482行(-l 2482),文件前缀为BLM_ ,系数不是字母而是数字(-d),后缀系数为四位数(-a 4)
上面说的分割,下面我们来看下如何合并多个文件,如果是比较重要的大文件或数据文件,在分割的时候,可以作md5校验和,在合并时重新校验数据,如果发现不一致,则是传输损坏等情况造成,可重新传输:
[search@h1 823]$ md5sum a.txt
2dbf68d4aba8dbe6a485293f8464be64 a.txt
[search@h1 823]$
使用cat命令进行合并:
cat *.txt >> total.txt
最后记录一下,几个比较有用的命令,对一个日志文件中的ip地址,去重,统计,排序,怎么做?
cat test.txt|awk '{print $1}'|sort|uniq -c
分享到:
相关推荐
FileSplitter4Linux_多线程文件分割合并器.7z =========================================== 多线程文件分割、合并器 v2.0.1 for Windows / Linux
5、合并文件使用的Linux命令是:cat /home/leo/sd_000.txt /home/leo/sd_001.txt /home/leo/sd_002
跨平台的文件分割合并器_FileSplitter4Linux_自带JAVA运行时.7z
linux下文件分割可以通过split命令来实现,可以将一个大文件拆分成指定大小的多个文件,并且拆分速度非常的快,可以指定按行数分割和安大小分割两种模式。Linux下文件合并可以通过cat命令来实现,非常简单。 在...
2、二进制文件分割: bincut -s [filename] [length] bincut -s [文件名] [分割长度(10/16进制)] 例: bincut -s test.bin 0x1000 将test.bin按每个文件4096个字节的长度分割,文件名自动加-1、-2、-3 ...
MessageBox(_T("请选择合并后要保存到的目标文件夹."), _T("文件分割器"), MB_ICONEXCLAMATION); return 1; } //do merge do { //constuct a new name by dynamicly incrementing prefix pref = _ltoa(l, ...
这种情况下,可以先将大文件分割成小文件后分批传输,传完后再合并文件。 1. 分割文件 文件分割可以使用split命令,该即支持文本文件分割,又支持二进制文件分割;而合并文件可以使用cat命令。 1.1 文本文件分割 ...
qt 基于ffmpeg 实现视频的拼接、合并,只针对同格式,同分辨率的视频,不同格式不通过分辨率的视频需要从新进行解码和编码,附带FFmepg第三方库,windos和linux都有
第2章 Linux文件系统和文本编辑器 12 第3章 正则表达式 43 第4章 sed命令和awk编程 64 第5章 文件的排序、合并和分割 105 第6章 变量和引用 133 第7章 退出、测试、判断及操作符 157 第8章 循环与结构化命令 ...
linux下提供了split命令来分割文件。 split -db 2G original_file filename d: 后缀用00,01,02……如果不使用这个选项,就是用aa、ab、ac…… b: 指定分块大小。这里指定为2G filename: 指定要生成的文件的文件名,...
第十一章 合并与分割 第十二章 TR用法 第三部分 登录环境 第十三章 登录环境 第十四章 环境和SHELL变量 第十五章 小结 第四部分 基础SHELL编程 第十六章 SHELL脚本介绍 第十七章 条件测试 第十八章 控制流结构 第...
linux内核分析及编程(倪继利),zip文件part2 (可直接用一般压缩软件打开),因为文件太大40M,同时CSDN附件的限制,所以用文件分割器分割成4部分,大家可以下载庖丁解牛软件http://download.csdn.net/source/2371298...
第11章 合并与分割 104 11.1 sort用法 104 11.1.1 概述 104 11.1.2 sort选项 104 11.1.3 保存输出 105 11.1.4 sort启动方式 105 11.1.5 sort对域的参照方式 105 11.1.6 文件是否已分类 105 11.1.7 基本sort 106 ...
linux内核分析及编程(倪继利),zip文件part3 (可直接用一般压缩软件打开),因为文件太大40M,同时CSDN附件的限制,所以用文件分割器分割成4部分,大家可以下载庖丁解牛软件http://download.csdn.net/source/2371298...
Linux下JDK安装程序,安装包用程序分割成三份,CSDN上传文件限制在60M,安装包大小在135M,需要下载三份文件,然后使用程序进行合并,合并文件的程序已经写好了; 具体操作参照博客:...
注意,此文件使用zip命令分割,下载后请手工去除后缀,使用zip(linux & mac)或type(windows) 命令合并! 注意,此文件使用zip命令分割,下载后请手工去除后缀,使用zip(linux & mac)或type(windows) 命令合并!
Linux下JDK安装程序,安装包用程序分割成三份,CSDN上传文件限制在60M,安装包大小在135M,需要下载三份文件,然后使用程序进行合并,合并文件的程序已经写好了; 具体操作参照博客:...