2015年4月9日 星期四

Linux: xargs 指令範例與教學

原文在此

在 UNIX/Linux 系統中,xargs 這個指令跟其他的指令結合之後,將會變得非常有用,這裡整理了一些常見的 xargs 使用範例與教學,透過這些簡單的範例可以很快的了解 xargs 的各種使用方式。

雖然這裡的範例都很簡單,但是當你了解 xargs 的用法之後,你會發現 xargs 其實可以拿來處理各式各樣的問題,而且非常好用,尤其是對於伺服器的系統管理者而言,在管理大量的檔案與目錄結構時,有這樣的工具會方便很多。



xargs 基本用法

xargs 這個指令會標準輸入(standard input)讀取資料,並以空白字元或換行作為分隔,將輸入的資料切割成多個字串,並將這些字串當成指定指令(預設為 /bin/echo)執行時的參數。如果直接執行
                                              
$ xargs                                   
                                              
接著在終端機中輸入

arg1 arg2                               
arg3                                       

結束時按下 Ctrl + d,這時候 xargs 就會把輸入的兩行資料切割成 3 個字串(分別為 arg1、arg2 與 arg3),接著把這三個字串當作指定指令的參數,而這裡我們沒有指定任何指令,所以預設會使用 /bin/echo,直接把三個字串輸出至終端機中。
    arg1 arg2 arg3                   

這裡雖然輸入的資料中有包含一個換行字元(\n),不過因為 xargs 預設不會保留換行字元,所以整個輸出就變成一整行。這個效果相當於

/bin/echo arg1 arg2 arg3

xargs 在讀取標準輸入的資料時,會自動忽略空白行,多餘的空白或是 tab 字元也會自動被忽略。

如果要指定 xargs 所要執行的指令,可以直接將指令的名稱放在所有 xargs 的參數之後,例如

xargs cat              
arg1 arg2              
arg3                   
就相當於

cat arg1 arg2 arg3     


指定分隔字元

如果要指定 xargs 在讀取標準輸入時所使用的分隔字元,可以使用 -d 這個參數。例如:
xargs -d\n            
arg1 arg2             
arg3                  

輸出為arg1 arg2             
arg3
這裡當我們使用 -d 這個參數指定分隔字元時,xargs 就會將換行字元保留下來,所以輸出會分為兩行。

參數個數上限

預設的狀況下,xargs 會把從標準輸入的資料所分割出來的字串,一次全部都放進指定指令參數中,例如:
echo a b c d e f | xargs

就相當於
echo a b c d e f        

所以輸出為
a b c d e f             

如果我們不想讓所有的參數都放進一個指令中指令中執行,可以使用 -n 參數來指定每一次執行指令所使用的參數個數上限值,例如
echo a b c d e f | xargs -n 3

就相當於
echo a b c              
echo d e f              

所以輸出就變為
a b c                   
d e f                   

如果指定上限為 2
echo a b c d e f | xargs -n 2

輸出就會變成
a b                     
c d                     
e f                     

執行前的確認

如果你對於 xargs 的使用方式不是很熟悉,或是需要以 root 權限執行一些不容出錯的指令,可以加上 -p 參數,讓指令在實際執行指令之前可以先進行確認的動作。例如:
echo a b c d e f | xargs -p -n 3

則在每一行指令執行前,都會先確認,如果要執行就輸入 y,若不執行則輸入 n,假設每一個指令我們都輸入 y讓它執行,則整個輸出就會變成這樣:
/bin/echo a b c ?...y      
/bin/echo d e f ?...a b c  
y                          
d e f                      

這裡因為 xargs 的確認訊息與 echo 指令的輸出混在一起,所以看起來有點奇怪。
如果所有的指令進行確認時,我們都輸入 n,這樣就不會執行任何的 echo 指令,輸出就會像這樣:
/bin/echo a b c ?...n     
/bin/echo d e f ?...n     
/bin/echo ?...n           
 

忽略空字串參數

大家應該有注意到上面的例子當我們使用 -p 參數時,如果所有的指令都輸入 n 跳過不執行時,最後還會出現一個沒有任何參數的 echo 指令,如果想要避免以這種空字串作為參數來執行指令,可以加上 -r 參數:
echo a b c d e f | xargs -p -n 3 -r 
/bin/echo a b c ?...n               
/bin/echo d e f ?...n               
如果標準輸入為空字串時,xargs 預設還是會執行一次 echo 指令:
xargs -p                
/bin/echo ?...n         

這種狀況同樣可以加上 -r 參數:
xargs -p -r             

顯示執行的指令

使用 -t 參數可以讓 xargs 在執行指令之前先顯示要執行的指令,這樣可以讓使用者知道 xargs 執行了哪些指令。
xargs -t    
abcd        

按下 Ctrl + d 之後,xargs 就會先輸出要執行的指令內容,接著才是實際指令執行的輸出,最後得到輸出為/bin/echo abcd 
abcd             

結合 xargsfind 指令

xargs 本身的功能並不多,但是他跟其他的 Linux 指令一起搭配使用時,功能就會顯得很強大。 與 find 指令合在一起使用是 xargs 的一項非常重要的功能,它可以讓你找尋特定的檔案,並且進行特定的處理動作。 假設我們有一些資料夾,其中包含各式各樣的檔案,以 tree 指令查看目錄結構會呈現
.
├── folder1
│   ├── file1.c
│   ├── file1.h
│   ├── file2.c
│   └── file2.h
└── folder2
    ├── file3.c
    └── file3.h

2 directories, 6 files
假設我們想要找出目前路徑之下的所有 .c 檔案,並且將其刪除,就可以使用
find . -name "*.c" | xargs rm -f 

這裡我們將 xargs 要執行的指令指定為 rm -f,讓 find 所找到的 .c 檔案都當成 rm -f 的參數,所以其指令的效果就相當於
rm -f ./folder2/file3.c ./folder1/file2.c ./folder1/file1.c

如果你對於指令的操作還不是很熟悉,也可以配合上面介紹的 -p 參數,在執行前確認一下
find . -name "*.c" | xargs -p rm -f

刪除 .c 檔案之後,以 tree 指令查看整個目錄樹就會變成
.
├── folder1
│   ├── file1.h
│   └── file2.h
└── folder2
    └── file3.h

2 directories, 3 files
這裡因為是示範用的例子,所以並沒有建立太多的檔案與目錄結構,在實際的應用上,當整個目錄結構很複雜、檔案又很多的時候,使用這樣的方式就會非常有效率。

包含空白的檔案名稱

假設我們的目錄中有一些檔名包含空白字元:
touch "G T Wang.c"  

在這種狀況下如果用上面 findxargs 的方式會無法將其刪除,原因在於當我們執行
find . -name "*.c" | xargs rm -f

的時候,xargs 所產生的指令為 
rm -f ./G T Wang.c  

因為檔名包含空白,所以這會會造成 rm 指令無法正確刪除該檔案。
這個時候我們可以將 find 指令加上 -print0 參數,另外將 xargs 指令加上 -0 參數,改成這樣
find . -name "*.c" -print0 | xargs -0 rm -rf

如此一來,即可正確處理包含空白字元的檔案名稱。



命令列長度的限制

使用 --show-limits 參數可以查看系統對於命令列長度的限制,這些限制會跟 xargs 的運作情況有關,如果要處理很大量的資料時,這些限制要注意一下。
xargs --show-limits  
輸出為
Your environment variables take up 2022 bytes
POSIX upper limit on argument length (this system): 2093082
POSIX smallest allowable upper limit on argument length (all systems): 4096
Maximum length of command we could actually use: 2091060
Size of command buffer we are actually using: 131072

Execution of xargs will continue now, and it will try to read its input 
and run commands; if this is not what you wanted to happen, please type 
the end-of-file keystroke.
Warning: /bin/echo will be run at least once.  If you do not want that to happen, then press the interrupt keystroke.


結合 xargsgrep 指令

xargsgrep 兩個指令的合併也是一個很常見的使用方式,它可以讓你找尋特定檔案之後,進而搜尋檔案的內容。 假設我們要在所有的 .c 檔案中搜尋 stdlib.h 這個字串,就可以使用
find . -name '*.c' | xargs grep 'stdlib.h' 

我直接拿 VTK 的原始碼來測試,輸出會像這樣
./CMake/TestOggTheoraSubsampling.c:#include <stdlib.h>
./Wrapping/Tools/lex.yy.c:#include <stdlib.h>
./Wrapping/Tools/vtkWrapPythonInit.c:#include <stdlib.h>
./Wrapping/Tools/vtkWrapTcl.c:#include <stdlib.h>
./Wrapping/Tools/vtkWrapTclInit.c:#include <stdlib.h>
./Wrapping/Tools/vtkParsePreprocess.c:#include <stdlib.h>
./Wrapping/Tools/vtkWrapText.c:#include <stdlib.h>
./Wrapping/Tools/vtkParseData.c:#include <stdlib.h>
./Wrapping/Tools/vtkParseHierarchy.c:#include <stdlib.h>
./Wrapping/Tools/vtkParseMain.c:#include <stdlib.h>
[略]
這個對於程式設計師在看一堆專案原始碼的時候特別有用。

1 則留言:

  1. Do you realize there's a 12 word phrase you can communicate to your partner... that will induce intense feelings of love and instinctual appeal for you buried within his heart?

    Because deep inside these 12 words is a "secret signal" that triggers a man's instinct to love, cherish and protect you with all his heart...

    12 Words That Fuel A Man's Desire Response

    This instinct is so built-in to a man's brain that it will drive him to try better than before to love and admire you.

    As a matter of fact, fueling this all-powerful instinct is so binding to having the best ever relationship with your man that the instance you send your man one of these "Secret Signals"...

    ...You'll instantly find him open his heart and soul for you in a way he never experienced before and he will distinguish you as the one and only woman in the world who has ever truly appealed to him.

    回覆刪除