Small fixes
This commit is contained in:
parent
ede4dea616
commit
d3769e5630
@ -13,7 +13,7 @@ using TokenData = variant<int, string, Type>;
|
||||
|
||||
struct Token {
|
||||
TokenType type;
|
||||
TokenData data;
|
||||
TokenData data { };
|
||||
};
|
||||
|
||||
/*
|
||||
|
@ -128,11 +128,11 @@ vector<Token> tokenize(string str) {
|
||||
tokens.emplace_back(token);
|
||||
str.erase(0, 1);
|
||||
}
|
||||
else if (isspace(str[0])) {
|
||||
else if (isspace(str[0]) || str[0] == '\0') {
|
||||
str.erase(0, 1);
|
||||
}
|
||||
else {
|
||||
cerr << "Unknown token: " << str << endl;
|
||||
cerr << "Unknown token: \"" << str << "\"" << endl;
|
||||
break;
|
||||
}
|
||||
}
|
||||
|
Loading…
Reference in New Issue
Block a user