161sh/trashposs
1
0
Fork 0
mirror of https://iceshrimp.dev/crimekillz/trashposs synced 2024-11-22 08:53:48 +01:00
Code Issues Packages Projects Releases Wiki Activity

✌️

Browse Source
This commit is contained in:
syuilo 2017-09-07 16:15:40 +09:00
parent edf484506f
commit bb667c7af4
2 changed files with 79 additions and 57 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

1
package.json
View File

@ -121,6 +121,7 @@
"is-url": "1.2.2", "is-url": "1.2.2",
"js-yaml": "3.9.1", "js-yaml": "3.9.1",
"mecab-async": "^0.1.0", "mecab-async": "^0.1.0",
"moji": "^0.5.1",
"mongodb": "2.2.31", "mongodb": "2.2.31",
"monk": "6.0.3", "monk": "6.0.3",
"morgan": "1.8.2", "morgan": "1.8.2",

37
src/tools/analysis/extract-user-keywords.ts
View File

@ -1,8 +1,12 @@
const moji = require('moji');
const MeCab = require('./mecab'); const MeCab = require('./mecab');
import Post from '../../api/models/post'; import Post from '../../api/models/post';
import User from '../../api/models/user'; import User from '../../api/models/user';
import parse from '../../api/common/text'; import parse from '../../api/common/text';
process.on('unhandledRejection', console.dir);
const stopwords = [ const stopwords = [
'ー', 'ー',
@ -17,6 +21,7 @@ const stopwords = [
'せる', '及び', 'これら', 'とき', 'では', 'にて', 'ほか', 'ながら', 'うち', 'そして', 'せる', '及び', 'これら', 'とき', 'では', 'にて', 'ほか', 'ながら', 'うち', 'そして',
'とともに', 'ただし', 'かつて', 'それぞれ', 'または', 'お', 'ほど', 'ものの', 'に対する', 'とともに', 'ただし', 'かつて', 'それぞれ', 'または', 'お', 'ほど', 'ものの', 'に対する',
'ほとんど', 'と共に', 'といった', 'です', 'とも', 'ところ', 'ここ', '感じ', '気持ち', 'ほとんど', 'と共に', 'といった', 'です', 'とも', 'ところ', 'ここ', '感じ', '気持ち',
'あと', '自分',
'about', 'after', 'all', 'also', 'am', 'an', 'and', 'another', 'any', 'are', 'as', 'at', 'be', 'about', 'after', 'all', 'also', 'am', 'an', 'and', 'another', 'any', 'are', 'as', 'at', 'be',
'because', 'been', 'before', 'being', 'between', 'both', 'but', 'by', 'came', 'can', 'because', 'been', 'before', 'being', 'between', 'both', 'but', 'by', 'came', 'can',
@ -47,10 +52,16 @@ function tokenize(text: string) {
const tokens = mecab.parseSync(plain) const tokens = mecab.parseSync(plain)
// キーワードのみ // キーワードのみ
.filter(token => token[1] == '名詞' && (token[2] == '固有名詞' || token[2] == '一般')) .filter(token => token[1] == '名詞' && (token[2] == '固有名詞' || token[2] == '一般'))
// 取り出し // 取り出し(&整形(全角を半角にしたり大文字を小文字で統一したり))
.map(token => token[0].toLowerCase()) .map(token => moji(token[0]).convert('ZE', 'HE').convert('HK', 'ZK').toString().toLowerCase())
// ストップワード // ストップワードなど
.filter(word => stopwords.indexOf(word) === -1 && word.length > 1); .filter(word =>
stopwords.indexOf(word) === -1 &&
word.length > 1 &&
word.indexOf('！') === -1 &&
word.indexOf('!') === -1 &&
word.indexOf('？') === -1 &&
word.indexOf('?') === -1);
return tokens; return tokens;
} }
@ -65,7 +76,13 @@ User.find({}, {
const x = cb => { const x = cb => {
if (++i == users.length) return cb(); if (++i == users.length) return cb();
extractKeywordsOne(users[i]._id, () => x(cb)); extractKeywordsOne(users[i]._id).then(() => x(cb), err => {
console.error(err);
setTimeout(() => {
i--;
x(cb);
}, 1000);
});
}; };
x(() => { x(() => {
@ -73,7 +90,8 @@ User.find({}, {
}); });
}); });
async function extractKeywordsOne(id, cb) { function extractKeywordsOne(id) {
return new Promise(async (resolve, reject) => {
process.stdout.write(`extracting keywords of ${id} ...`); process.stdout.write(`extracting keywords of ${id} ...`);
// Fetch recent posts // Fetch recent posts
@ -96,7 +114,7 @@ async function extractKeywordsOne(id, cb) {
// 投稿が少なかったら中断 // 投稿が少なかったら中断
if (recentPosts.length < 300) { if (recentPosts.length < 300) {
process.stdout.write(' >>> -\n'); process.stdout.write(' >>> -\n');
return cb(); return resolve();
} }
const keywords = {}; const keywords = {};
@ -128,6 +146,9 @@ async function extractKeywordsOne(id, cb) {
keywords: topKeywords keywords: topKeywords
} }
}).then(() => { }).then(() => {
cb(); resolve();
}, err => {
reject(err);
});
}); });
} }