抓取twitter数据情感分析:如何在社交网络上并大众对某些话题的情绪?.此前我们#OSINT…

抓取twitter数据,可根据时间、话题、用户名等条件抓取数据,twitter爬虫

Files

Permalink

Failed to load latest commit information.

Type

Name

Latest commit message

Commit time

TwitterCrawler Introduction

数据来源于 Twitter Search ,而没有用官方twitter api,可以不受api的限制.
WARNING: please be polite and follow the crawler's politeness policy.

TwitterCrawler Installation

基于spring boot 2.0
webmagic 爬虫框架
Maven 3.6
JDK 1.8
需要翻墙,可设置翻墙代理ip、端口
存储:oracle/mysql

TwitterCrawler Usage

resources/application.properties 配置数据库连接.
resources/twi.properties 配置本地代理端口,twitter用户名或关键字.
具体抓取数据,可根据url不同设置规则,可以搜索时间范围,包含与或条件等,本项目目前只做了根据 用户名+时间范围 获取数据.

数据示例
image

数据示例
image

数据示例
image

Lisence

Lisenced under Apache 2.0 lisence

About

抓取twitter数据,可根据时间、话题、用户名等条件抓取数据,twitter爬虫

Topics

Resources

You can’t perform that action at this time.

We use optional third-party analytics cookies to understand how you use GitHub.com so we can build better products. Learn more .

如何抓取推特话题

NCSU Tweet Visualizer 应该足以用于基本的交际媒体监控和品牌管理用例,但是它没有效于高级实现的 API。

以下另有一些其他工具。

Enginuity(Web应用程序)

Enginuity 是一种付费的解决方案,但基本版本也可以作为免费的 Web 应用程序使用。它与很多免费心情分析工具的工作方法差别。Enginuity 不是直接查询与某个重要字相关的推文,而是容许您搜索有关该重要字的最新新消息报道。

然后,该工具会查询 Twitter 和 Facebook,以盘算报道被共享的次数。它还能分析社会心情是正面还是负面、各自几多份额,并给出读者对新消息故事的总体心情评级。

因此,Enginuity 是一个很好的工具,可以通过您的交际渠道找到可以分享的故事,也可以得到关于交际媒体上近来发生的事件之大众心情的综合图景。

Revealed Context (API / Excel 加载项)

Revealed Context 提供了一个免费的 API,用于天天运行多达 250 个文档的心情分析。有一个 Excel 加载项和一个 Web 界面,独立于 API 运行分析。

虽然 Revealed Con t ext 没有提供直接抓取 Twitter 的界面,但它很easy,可以在不使用 API​​ 的环境下分析推文的电子表格。使用 API​​,您可以构建一个管道,将近来的推文从 Twitter API 提供到 Revealed Context API 进行处置。

Steamcrab(Web App)

Steamcrab 是一个用于在 Twitter 数据上进行心情分析的 Web 应用程序。它偏重于重要字搜索,并根据两极标准(正面和负面)分析推文。可视化选项仅限于散点图和饼图。

MeaningCloud(API / Excel 加载项)

MeaningCloud 是另一个用于文本分析的免费 API,包括情绪分析。MeaningCloud 的一个长处是除了心情分类之外,API 还支持很多文本分析操作。这些操作包括主题提取、文本分类、词性标注等(假如您不认识这些操作,这里有一篇 文本分析的文章 可参考)

与我们思量的其他解决方案相比,MeaningCloud API 更机动地用于主题提取,由于使用其他工具主题聚集是根据您输入的初始重要字主动实行的。

别的,MeaningCloud 容许用户上传*自定义辞书*,用于主题提取和情绪分类。

MeaningCloud 提供 Excel 加载项,但它不实用于 Excel for Mac(很多 Excel 加载项存在问题)。

Socialmention(Web 应用)

Socialmention 是一个基本的SearchEngine气势派头的 Web 应用程序,用于对 Twitter 数据进行主题级心情分析。您可以输入重要字,该工具将返回带有重要字的内容,以及相关重要字的总体心情分数。

Socialmention 的一个长处是支持基本的品牌管理用例 — 该工具返回一个“passion”分数,用于权衡 Twitter 用户讨论您的品牌的大概性,以及 Twitter 用户讨论您的品牌的均匀覆盖面。

具有情绪分析功能的数据发掘平台

开源 数据发掘平台 提供了一些开始进的文本和情绪分析支持,基本上是免费的。

RapidMiner 和 KNIME 等解决方案具有内置的心情分析模块以及很多第三方模块。

关于文本分析的免费开源解决方案有许多,但坏消息是您大概需要一位语言学家和数据科学家一起工作才行。出于这个缘故,以下将专注于普通用户 可以在几分钟内实际启动和运行的工具 。保证您不需要编译源代码或把握庞杂的算法也可以操作。

RapidMiner + AYLIEN
  • 解决方案种类:用于开源数据发掘平台的文本处置附件
  • 摆设: Windows,Mac,Linux
  • 实用于:情绪分析、高级文本分析
  • 定价:免费(免费版本使用单个逻辑处置器可处置多达10,000行 — 更高级功能需要购置付费版)

RapidMiner 是一个开源的数据科学平台,包括数据发掘、文本发掘、猜测分析等等。RedimMiner 的功能可以通过附加组件或扩展程序得到明显加强,此中很多也是免费提供的。

RapidMiner 营销数据科学家 Thomas Ott 讲明说:“RapidMiner 的长处在于它的可视化编程:你不必编写代码,并且你不必知道它背后的数学。”

在其他扩展中,RapidMiner Marketplace 为第三方供给商 AYLIEN 开发的心情分析提供了非常实用且用户友爱的附加 组件 。

AYLIEN 的扩展可以主动从 Twitter 获取数据(RapidMiner 也是如此)。然后,它分析推文并用三值心情量表对其进行评分:正面、负面或中立。

除了从 Twitter 等 Web 源读取外,RapidMiner 还可以直接从平面文件(如 CSV 和 Excel 文件或数据库)中读取。

RapidMiner 还提供自己的文本分析 扩展 ,此中包括强盛的文本处置功能,可与高级聚集算法和机器学习操作联合使用。

正如 Ott 所讲明的那样,“察看文本有两种重要方法。一个是进行高级概述:单词计数、单词频率、单词在语料库中的出现[正在分析的文档聚集]等。另一个是更重要的,比方,心情分析和其他技能,您可以在数据集上练习机器学习算法。“

TinfoLeak是一款Python编写的!Twitter用户信息抓取软件,重要的抓取的信息有:

1、底子信息包括名字、头像!、关注者、地点位置等。

2、Twitter用户所使用的操作系统和装备信息。

3、Twitter用户的应用和交际网络信息。

4、天生形迹图。

5、以GoogleEarth的情势展示用户的推文。

6、下载用户全部推过的图片。

7、Twitter用户使用过的“#话题”,并收集时间和日期。

8、Twitter用户提到过的其他用户,并记载下时间和日期。

9、Twitter用户使用过的主题。

支持用日期和重要字对抓取下的信息进行过滤。

下载地点: http://vicenteaguileradiaz.com/tools/

本文分享自微信订阅号 - FreeBuf(freebuf),作者:嘎巴嘎巴

原文出处及转载信息见文内具体说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发布时间:2014-09-30

本文参与 腾讯云自媒体分享计划 ,欢迎正在阅读的你也参加,一起分享。

本文网址: https://www.4008140202.com/pp/20201025231620_1390_1307296913/home

推荐阅读

tags

最新发布