00001
00002
00003
00004
00005
00006
00007
00008
00009
00010
00011
00012
00013
00014
00015
00016
00017
00018
00019
00020
00021
00022
00023
00024
00025
00026
00027
00028
00029
00030
00031
00032
00033 #include <lestes/common.hh>
00034 #include <lestes/equality.hh>
00035 #include <lestes/lang/cplus/lex/ucn_token.hh>
00036 #include <lestes/lang/cplus/lex/ucn_token_buffer.hh>
00037 #include <lestes/lang/cplus/lex/token_value.hh>
00038 #include <string>
00039
00040 package(lestes);
00041 package(lang);
00042 package(cplus);
00043 package(lex);
00044
00045 using namespace ::std;
00046
00047 #define u(x) character::create_from_host(x)
00048
00049 void ucn_token_buffer_test(void)
00050 {
00051 ptr<ucn_token> a = ucn_token::create(0,u(':'));
00052 ptr<ucn_token> b = ucn_token::create(0,u('h'));
00053
00054 ptr<ucn_token_buffer> cb = ucn_token_buffer::create();
00055
00056 cb->add_back(a);
00057 lassert(is_equal(cb->peek_front(),a));
00058 cb->add_back(b);
00059 lassert(is_equal(cb->peek_front(),a));
00060 cb->add_back(ucn_token::create(0,u('e')));
00061
00062 cb->advance(1);
00063 lassert(is_equal(cb->peek_front(),b));
00064
00065 cb->add_back(ucn_token::create(0,u('l')));
00066 cb->add_back(ucn_token::create(0,u('l')));
00067 cb->add_back(ucn_token::create(0,u('o')));
00068
00069 ptr<token_value> tv = cb->extract_ordinary(5);
00070 ucn_string text(tv->content_get());
00071
00072 for (ulint i = 0; i < 6; i++) {
00073
00074 lassert(is_equal(text[i],static_cast<ucn>("hello"[i])));
00075 }
00076 }
00077
00078 end_package(lex);
00079 end_package(cplus);
00080 end_package(lang);
00081 end_package(lestes);
00082
00083 int main(void)
00084 {
00085 ::lestes::lang::cplus::lex::ucn_token_buffer_test();
00086 return 0;
00087 }
00088