/
bear
/
opencorpora
Обзор
Документация
Войти
/
bear
/
opencorpora
Код
Запросы
0
Пакеты
0
Релизы
0
CI/CD
Аналитика
Безопасность
master
scripts/tokenizer/tokenize.php
17 строк
497 B
Dmitry Granovsky
use tabs in tokenize.php
07 янв 2018, 20:23
07 янв 2018, 20:23
cd6ad49
Код
Авторство
О чём код?
<?php if (php_sapi_name() != 'cli') die("This script is for CLI only"); set_include_path(get_include_path().PATH_SEPARATOR.'/corpus'); require_once('lib/header_ajax.php'); require_once('lib/lib_tokenizer.php'); $tokenizer = new Tokenizer(__DIR__); while (false !== ($line = fgets(STDIN))) { foreach ($tokenizer->tokenize($line) as $token) { echo implode("\t", array($token->start_pos, $token->end_pos, $token->get_feats_str_binary(), $token->border_weight)) . "\n"; } } ?>