膨大な量のテキストデータが溢れています。 日々大量のテキストデータが生み出されているのです。 この膨大なテキストデータの中から、 何か価値のある情報を引き出すことができれば、 ビジネスや研究に大いに役立つはずです。 こう考えると、大量の ...

ディレクトリ配下に配置されたすべてのPDFファイルを読み込んで学習し、LDAトピックモデルを自動生成します。 About ディレクトリ配下に配置されたすべてのPDFファイルを読み込んで学習し、LDAトピックモデルを自動生成します。

科学系の論文が集約されているWebサイトであるarXivから、AIに関する論文の要約文を取得し、LDA（潜在ディクレ配分）でトピックを分類する。 実行結果 python get_topic.pyでプログラムを実行すると、5つのトピックとそのトピックを特徴づける上位5つの単語 ...