大数据方面核心技术有哪些？

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。

创新互联公司专注于阆中企业网站建设,自适应网站建设,成都商城网站开发。阆中网站建设公司,为阆中等地区提供建站服务。全流程按需定制制作，专业设计，全程项目跟踪，创新互联公司专业和态度为您提供的服务

1、数据采集与预处理：FlumeNG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据；Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。

2、数据存储：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。

3、数据清洗：MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算。

4、数据查询分析：Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能。Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

5、数据可视化：对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。

NoSQL会取代完全取代关系型数据库吗？

对此，前Google工程师，Milo（本地商店搜索引擎）创始人Ted Dziuba最近发表标题惊人的博客“I Can't Wait for NoSQL to Die”，对NoSQL的适用范围进行了分析。他认为， NoSQL也会带来一连串的新问题，并不会成为主流，无法取代关系型数据库。 他的理由是：Cassandra等NoSQL数据库在使用上并不方便，比如，修改column family定义时就需要重启。而且NoSQL更适合Google那样的规模，而一般的互联网公司都不是Google，早早地去考虑Google那样的规模的可扩展性，纯粹是浪费时间，存在巨大的商业风险。 他还透露，即使在Google，AdWords这样的关键产品也是基于MySQL实现的。 他在文中最后表示，NoSQL当然死不了，但是 它最终会被边缘化，就像Rails被NoSQL边缘化一样 Dziuba的文章因为言辞激烈，在社区里引起了强烈反应。 SQL数据库阵营赞同者大有人在。craigslist工程师、著名的MySQL专家Jeremy Zawodny表示，在读此文的时候，不时会心一笑。他说， NoSQL运动只是软件不断进化进程中的正常现象 。关系型数据库也会继续发展，MySQL社区不断推出的XtraDB或InnoDB插件, PBXT, Drizzle都是证据。各种技术竞争的结果是，我们获得了更多解决问题的选择。 drizzle项目开发者Eric Day也表示，NoSQL有很多值得学习的，但是目前大部分实际项目的最佳选择还是关系型数据库。 NoSQL阵营当然不会坐视不理，Cassandra项目组的Eric Evans表示，Dziuba提到Cassandra修改column family定义的问题其实很容易解决。而且，NoSQL并不是要取代MySQL，事实上Twitter仍然在用MySQL。如果关系型数据库能够承担负荷，那就用好了；如果不行，请考虑NoSQL。 而德国知名博客Code Monkeyism则嘲笑Dziuba看起来并没有用MySQL做过真实项目，因为MySQL如果没有memcache，基本上无法应付网站项目。他认为，NoSQL将使SQL数据库边缘化，而且一个重要理由恰恰是可以节省DBA的开销。 digg的前任首席架构师现在也在创业的Joe Stump说，自己现在的创业项目就是用NoSQL，而且列举了一系列问题挑战SQL阵营。

常用的关系型数据库有哪些

常见的关系型数据库管理系统产品有Oracle、SQL Server、Sybase、DB2、Access等。 1.Oracle

Oracle是1983年推出的世界上第一个开放式商品化关系型数据库管理系统。它采用标准的SQL结构化查询语言，支持多种数据类型，提供面向对象存储的数据支持，具有第四代语言开发工具，支持Unix、Windows NT、OS/2、Novell等多种平台。除此之外，它还具有很好的并行处理功能。Oracle产品主要由Oracle服务器产品、Oracle开发工具、Oracle应用软件组成，也有基于微机的数据库产品。主要满足对银行、金融、保险等企业、事业开发大型数据库的需求。

2.SQL Server

SQL即结构化查询语言（Structured Query Language，简称为SQL）。SQL Server最早出现在1988年，当时只能在OS/2操作系统上运行。2000年12月微软发布了SQL Server 2000，该软件可以运行于Windows NT/2000/XP等多种操作系统之上，是支持客户机/服务器结构的数据库管理系统，它可以帮助各种规模的企业管理数据。

随着用户群的不断增大，SQL Server在易用性、可靠性、可收缩性、支持数据仓库、系统集成等方面日趋完美。特别是SQL Server的数据库搜索引擎，可以在绝大多数的操作系统之上运行，并针对海量数据的查询进行了优化。目前SQL Server已经成为应用最广泛的数据库产品之一。

由于使用SQL Server不但要掌握SQL Server的操作，而且还要能熟练掌握Windows NT/2000 Server的运行机制，以及SQL语言，所以对非专业人员的学习和使用有一定的难度。

3.Sybase

1987年推出的大型关系型数据库管理系统Sybase，能运行于OS/2、Unix、Windows NT等多种平台，它支持标准的关系型数据库语言SQL，使用客户机/服务器模式，采用开放体系结构，能实现网络环境下各节点上服务器的数据库互访操作。技术先进、性能优良，是开发大中型数据库的工具。Sybase产品主要由服务器产品Sybase SQL Server、客户产品Sybase SQL Toolset和接口软件Sybase Client/Server Interface组成，还有著名的数据库应用开发工具PowerBuilder。

4.DB2

DB2是基于SQL的关系型数据库产品。20世纪80年代初期DB2的重点放在大型的主机平台上。到90年代初，DB2发展到中型机、小型机以及微机平台。DB2适用于各种硬件与软件平台。各种平台上的DB2有共同的应用程序接口，运行在一种平台上的程序可以很容易地移植到其他平台。DB2的用户主要分布在金融、商业、铁路、航空、医院、旅游等各个领域，以金融系统的应用最为突出。

5.Access

Access是在Windows操作系统下工作的关系型数据库管理系统。它采用了Windows程序设计理念，以Windows特有的技术设计查询、用户界面、报表等数据对象，内嵌了VBA（全称为Visual Basic Application）程序设计语言，具有集成的开发环境。Access提供图形化的查询工具和屏幕、报表生成器，用户建立复杂的报表、界面无需编程和了解SQL语言，它会自动生成SQL代码。

Access被集成到Office中，具有Office系列软件的一般特点，如菜单、工具栏等。与其他数据库管理系统软件相比，更加简单易学，一个普通的计算机用户，没有程序语言基础，仍然可以快速地掌握和使用它。最重要的一点是，Access的功能比较强大，足以应付一般的数据管理及处理需要，适用于中小型企业数据管理的需求。当然，在数据定义、数据安全可靠、数据有效控制等方面,它比前面几种数据库产品要逊色不少。

当前名称：主流nosql技术,请简要总结一下nosql数据库的技术特点
分享地址：http://pwwzsj.com/article/phihsp.html