#include <iostream>
#include <string>
#include <vector>
#include <set>
#include <map>
#include <algorithm>
#include <boost/tokenizer.hpp>
#include <boost/typeof/typeof.hpp>
#include <string.h>

using namespace boost;
using namespace std;
template<typename
 
 T>
void print(T& tok)
{
    for(BOOST_AUTO(pos,tok.begin());pos != tok.end();++pos){
        cout << "["<< *pos << "] ";
    }
    cout << endl;
}
int main( int argc,char **argv)
{
    /*tokenizer預設把所有的空格和標點符號作為分隔符，因此分割出的只是單詞，和string_algo::split的演算法有區別*/
    string str("link raise the master-swaord"
 
);
    tokenizer<> tok(str);
    for(BOOST_AUTO(pos,tok.begin());pos != tok.end();++pos){
        cout << "["<< *pos << "] ";
    }
    cout << endl;

    /*分詞函式物件：
     *tokenizer提供四個分詞物件：
     *1.char_delimiters_separator：使用標點符號分詞，是tokeizer預設使用的分詞函式物件，已經被宣告廢棄；
     *2.char_separator:支援一個字元集合作為分隔符，預設標點符號分詞；
     *3.escaped_list_separator:使用逗號分隔的分詞；
     *4.off_separator:使用偏移量來分詞，分解平檔案格式的字串很有用
     */
 


    /*char_separator(const char *dropped_delims,
    const char* kept_delims = 0,
    empty_token_policy empty_tokens = drop_empty_tokens)；
     * 1.第一個引數是分隔符集合，此集合中的字元不會作為分詞的結果出現
     * 2.第二個引數也是分隔符集合，但是其中的字元會保留在分隔結果中
     * 3.第三個引數類似split演算法中的eCompress引數，處理連續兩個出現的分隔符,一個空字串， 
     * 相當於split演算法中token_compress_off值；
若為drop_empty_tokens，則空白單詞不會作為分詞的結果。
     */
    char* str2 = "Link ;;::<mom-dad> zebbix";
    char_separator<char> csp;
    tokenizer<char_separator<char>,char*> tok2(str2,str2 + strlen(str2,csp));
    print(tok2);

    tok2..assign(str2,str2+strlen(str2),char_separator<char>(" ;-","<>"));
    print(tok2);

    tok2..assign(str2,str2+strlen(str2),char_separator<char>(" ;-<>","",keep_empty_tokens));
    print(tok2);
    /*explicit escaped_list_separator( Char  e = ' \\' ，Char c = ' ,',
    Char  q = ' \" ' ) : escape_( 1,e) , c_( 1,c) , quote_( 1,q) , last_( false)  {}
     * 其建構函式一般取預設值：
     * 1.第一個引數e指定了字元中的轉義字元，預設是斜槓(\);
     * 2.第二個引數是分隔符，預設是逗號；
     * 3.第三個引數是引號字元，預設是";
    */

    string str1 = "id,100,name,\"Tony\"";
    escaped_list_separator<char> esp;
    tokenizer<escaped_list_separator<char> > tok1(str1,esp);
    print(tok1);

     return (0);
}