-
[bigdata-045] redis故障处理 #34;Can#39;t save in backg
所属栏目:[大数据] 日期:2020-12-25 热度:116
发现官网出错了。经过检查,发现连接不到redis。检查redis的log,发现错误 Can't save in background: fork: Cannot allocate memory 搜索相关资料,这里说的比较详细 http://www.cnblogs.com/qq78292959/p/3994341.html http://blog.csdn.net/zqz_zqz/artic[详细]
-
[bigdata-046] eclipse+spring开发web然后部署到tomcat
所属栏目:[大数据] 日期:2020-12-25 热度:83
1. 用eclipse开发spring,需要使用相关的ide 2. spring官网的ide https://spring.io/tools/eclipse 3. spring的tool suite https://spring.io/tools/sts 这个是专用开发spring的。 选择 https://spring.io/tools/sts/all 这里的linux64版本。 4. 在eclipse e[详细]
-
大数据分析与处理
所属栏目:[大数据] 日期:2020-12-25 热度:123
? ? 一、大数据分析与处理 1.文件批处理 ??????以MapReduce、Hive为典型代表,批处理模式解决了传统的数据仓库无法处理海量数据的难题。通过批处理计算引擎,使得海量数据分析成为可能。没有批处理引擎的诞生,也就没有今天风风火火的大数据。 ??????数据通[详细]
-
新飞电器的BI建设案例
所属栏目:[大数据] 日期:2020-12-25 热度:63
一、河南新飞电器简介 河南新飞电器在制造行业内属于领先地位,其信息化程度较高,面对系统多且杂乱的情况,一个集中展示数据的平台就显得尤为重要。使用BI就是为了在一个相对统一的平台展示需要查看的数据,供决策层进行分析查看,从而做出更加有依据的判断[详细]
-
Gartner发布2017年商业智能(BI)魔力象限报告――云商业智能工
所属栏目:[大数据] 日期:2020-12-25 热度:76
对我来说,等待Gartner发布最新一期的Gartner商业智能魔力象限报告,看看有哪些最新的意外总是一件令人兴奋的事情。 今年的魔力象限报告包括几个意外,并且对这个市场的现状以及未来发展方向发表了几点想法。 2017年的魔力象限看起来像这样: Gartner还没有[详细]
-
BigData数据可视化软件及工具
所属栏目:[大数据] 日期:2020-12-25 热度:109
摘要: 大量繁杂的数据在经过可视化工具处理后,就能以图形化的形式展现在用户面前,清晰直观。随着各种数据的增加,这种可视化工具越来越得到开发者们的欢迎。本文向大家推荐30款数据可视化工具。 各个互联网公司通过大量的用户数据、信息进行统计分析,而[详细]
-
ArcGIS Desktop 无法录入数据处理一例
所属栏目:[大数据] 日期:2020-12-25 热度:112
最近,搭建了一个DB2的测试环境,装完系统后,发现有一个美国带的样例数据无法导入,详细环境如下: 桌面:Desktop 10.3.1 DB2: V97 FP8 X64 For NT 从错误信息上得不到任何的提示,继续做测试 导入数据的时候出了空间字段,属性字段全部删除,可以导入进去,[详细]
-
基于大数据分析的安全管理平台技术研究及应用
所属栏目:[大数据] 日期:2020-12-25 热度:83
转自:http://www.36dsj.com/archives/30027 基于大数据分析的安全管理平台技术研究及应用 基于大数据分析的安全管理平台技术研究及应用 Research and Application of Big Data Analysis Based Security Management Platform Last Modified By yepeng @ 2014[详细]
-
BI解决方案资料收集
所属栏目:[大数据] 日期:2020-12-25 热度:71
ETL工具:Kettle(官网,Pentaho公司开源)、?Informatica、Datastage、OWB、微软DTS、Beeload、久其ETL,Oracle GoldenGate等等……开源的工具(16款开源工具,OSchina ETL工具列表),有eclipse的ETL插件: cloveretl 工作流引擎:jBPM,Activiti,H3 BPM,?[详细]
-
文本挖掘:手把手教你分析携程网评论数据
所属栏目:[大数据] 日期:2020-12-25 热度:67
文本分析的应用越来越广泛,这不,我的工作也开始涉及了文本分析,今天就讲讲关于评论数据的那点事。 首先评论数据如何获取? 一般通过 网络爬虫的方式 抓取各大网站的评论数据,本次分析数据就来源于携程网某酒店的评论,在同事的协助下,成功爬取该酒店的[详细]
-
R中文舆情包cnSentimentR
所属栏目:[大数据] 日期:2020-12-25 热度:148
该包使用jiebaR分词,svm[e1071]进行分类; 包括三个函数:cnsr.prepare,cnsr.train,cnsr.predict 目前还在开发中,功能不完整. 请见: https://github.com/leeshuheng/cnSentimentR[详细]
-
工作坊 | 大数据智能分析和挖掘在互联网中的应用实战案例
所属栏目:[大数据] 日期:2020-12-25 热度:130
大数据分析和挖掘在互联网公司中已经得到实质性的推进和应用,典型的应用场景包括搜索引擎的搜索结果和搜索广告排序、电商网站的商品推荐和虚假信息检测、电子邮件服务中垃圾邮件检测、互联网安全公司的病毒和木马检测、视频和新闻分享网站中视频和新闻推荐[详细]
-
内衣大数据分析:透过女生内衣的需求变化,看年轻人的情趣生活
所属栏目:[大数据] 日期:2020-12-24 热度:56
报道大数据企业: 大数据产品、大数据方案、 ? 大数据人物 分享大数据干货: 大数据书籍、大数据报告、 大数据视频 本文系大数据人精选自网络。 欢迎更多优质原创文章投稿给大数据人:admin@bigdata.ren 小编微信:data985 End. 版权声明 : 由“大数据人”[详细]
-
[bigdata-041] python3+re 正则表达式 手机号微信号qq号
所属栏目:[大数据] 日期:2020-12-24 热度:169
import reREGEX_PHONE = re.compile(r'1d{10}',re.IGNORECASE)REGEX_QQ = re.compile(r'[1-9]d{4,10}',re.IGNORECASE)REGEX_WX1 = re.compile(u'微信[w,-]{1,20}'.encode('utf8'),re.IGNORECASE)#正则手机号码def get_all_phone_num(s1): global REGEX_PH[详细]
-
数据挖掘:手把手教你做文本挖掘
所属栏目:[大数据] 日期:2020-12-24 热度:124
1 文本挖掘定义 文本挖掘指的是从文本数据中获取有价值的信息和知识,它是数据挖掘中的一种方法。文本挖掘中最重要最基本的应用是实现文本的分类和聚类,前者是有监督的挖掘算法,后者是无监督的挖掘算法。 ? 2 文本挖掘步骤 1)读取数据库或本地外部文本文[详细]
-
蓝桥杯-区间k大数查询
所属栏目:[大数据] 日期:2020-12-24 热度:140
从题目上看,用int类型数据就够了,没必要考虑long这些~~ 在题目中,直接用了Collection工具类中的sort方法,是从小到大排序,据了解,Java自带的排序算法应该是优化过的快速排序,算法可靠。 package 区间k大数查询 ; import java .util .ArrayList ; impor[详细]
-
数据挖掘中的模式发现(五)挖掘多样频繁模式
所属栏目:[大数据] 日期:2020-12-24 热度:106
挖掘多层次的关联规则(Mining Multi-Level Associations) 定义 项经常形成层次。 如图所示 那么我们可以根据项的细化分类得到更多有趣的模式,发现更多细节的特性。 Level-reduced min-support 使用的是Level-reduced min-support方法来设置最低支持度,即,[详细]
-
关于评论话题挖掘的研究及其实现代码(一)LDA
所属栏目:[大数据] 日期:2020-12-24 热度:117
引言 在 2016年中,我们参加了一个由厦门信研院举办的大数据比赛。当时,我们拿到的题目为影迷关注点分析。数据是来自于微博与豆瓣的影迷评论数据,其数据量达600多万条评论数据,分别对应于2000多部不同的电影。我们的想法是将影迷关注点分析尽量往评论话题[详细]
-
数据挖掘中的模式发现(六)挖掘序列模式
所属栏目:[大数据] 日期:2020-12-24 热度:150
序列模式挖掘 序列模式挖掘(sequence pattern mining)是数据挖掘的内容之一,指挖掘相对时间或其他模式出现频率高的模式,典型的应用还是限于离散型的序列。。 其涉及在数据示例之间找到统计上相关的模式,其中数据值以序列被递送。通常假设这些值是离散的,[详细]
-
关于评论话题挖掘的研究及其实现代码(二)词图切分
所属栏目:[大数据] 日期:2020-12-24 热度:70
引言 在上一篇的博客谈到使用LDA的方法挖掘影迷关注点可谓是无功而返。后来我思考了许久,决定将原来的向量空间模型转变为词语网(WordNet),然后通过社区检测算法来把网络划分不同的社区,从而确定为不同的话题。 社区检测算法 现实世界中的许多系统都可以[详细]
-
《MySQL必知必会》学习笔记五(数据处理函数)------掌握部分
所属栏目:[大数据] 日期:2020-12-24 热度:135
MySQL必知必会知识预览 第一章——了解SQL 第二章——MySQL简介 第三章——使用MySQL 第四章——检索数据 第五章——排序检索数据 第六章——过滤数据 第七章——数据过滤 第八章——用通配符进行过滤 第九章——用正则表达式进行搜索 第十章——创建计算字[详细]
-
数据挖掘 : 手把手教你做文本挖掘
所属栏目:[大数据] 日期:2020-12-24 热度:183
文本挖掘定义 文本挖掘指的是从文本数据中获取有价值的信息和知识,它是数据挖掘中的一种方法。文本挖掘中最重要最基本的应用是实现文本的分类和聚类,前者是有监督的挖掘算法,后者是无监督的挖掘算法。 ? 2 文本挖掘步骤 1)读取数据库或本地外部文本文件[详细]
-
[bigdata-036] mit-scheme试用
所属栏目:[大数据] 日期:2020-12-24 热度:106
1. 安装Mit-scheme apt-get install mit-scheme 2. 写一个hello wold代码, hi.scm (begin (display "Hello,World!") (newline)) 3. 在命令行执行 scheme,进入交互界面,然后输入命令 (load 'hi.scm') 将执行这个文件,然后输出 "Hello,World!" 4. scheme语[详细]
-
[bigdata-037] docker hue 用SQL获取数据以及可视化
所属栏目:[大数据] 日期:2020-12-24 热度:61
1. hue官网 https://github.com/cloudera/hue http://gethue.com/ 2. hue的功能 有py2+django开发,提供Hive,Impala,MySQL,Oracle,PostgreSQL,Spark SQL,Solr SQL,Phoenix...等SQL数据获取和页面展示 3. 用docker 安装hue docker pull gethue/hue 4. hue ima[详细]
-
[bigdata-037]apache hue 用SQL获取数据以及可视化
所属栏目:[大数据] 日期:2020-12-24 热度:199
1. hue官网 https://github.com/cloudera/hue http://gethue.com/ 2. hue的功能 有py2+django开发,提供Hive,Impala,MySQL,Oracle,PostgreSQL,Spark SQL,Solr SQL,Phoenix...等SQL数据获取和页面展示 3. 用docker 安装hue docker pull gethue/hue 4. hue ima[详细]
