有谁知道“database system 与 data mining 的差别”？

nicholes82

我找不到什么版可以问“database system 与 data mining 的差别”，所以就帖在这里了。

嗯，如题。
不知道有没有人可以大概告诉我它们的差别？或者思维方式？或者告诉我一些网站，好让我有得参考。

谢谢。

===========================================================================
23/3/2005:
有谁想知道更多关于 Database Management System (DBMS) 可以参考以下：
http://www.answers.com/topic/database-management-system


===========================================================================
----各位如果有问题的也发问吧，因为你的问题是我想要知道的。----

[ Last edited by nicholes82 on 24-3-2005 at 07:42 AM ]

Harimau

database 是存放资料的地方。

data mining 是从许多个 database 寻找 data，整合成 information，进一步处理成 intelligence。

goatstudio

Database - 资料库, 只是纯粹存放资料. 市场上大部分的资料库都有内建 ATOM 逻辑, 以确保资料的准确率.

Data Mining - 用来寻找资料的技能. 寻找资料后还得可以自行编排, 以找出所要的资料. Microsoft Excel 的 Pivot Table, SQL Server 的 Manager, 甚至 Access 的 Query 也算.

nicholes82

Harimau 于 16-3-2005 01:52 PM  说 :
database 是存放资料的地方。

data mining 是从许多个 database 寻找 data，整合成 information，进一步处理成 intelligence。

怎么说处理成 Intelligence 呢？

你所谓的“许多 Database”是指 Data Warehouse 吗？

goatstudio 于 16-3-2005 02:08 PM  说 :
Database - 资料库, 只是纯粹存放资料. 市场上大部分的资料库都有内建 ATOM 逻辑, 以确保资料的准确率.

Data Mining - 用来寻找资料的技能. 寻找资料后还得可以自行编排, 以找出所要的资料. Microsoft Excel 的 Pivot Table, SQL Server 的 Manager, 甚至 Access 的 Query 也算.

什么是 Atom 逻辑，哪里可以有资料看看？

你指的 Access 是不是 MS-Access？如果你指的是 MS-Access，那 DBMS 是属于 Data Mining 的一种吗？因为 MS-ACCESS 是属于 DBMS，对吗？


Harimau 和 goatstudio，
对不起，我自己的概念与思绪都有点乱了。 那 Database System 是跟 Database 不一样吧？ 因为我读到的解释是 Database System 里包含了 Database 与 DBMS，而 DBMS 包括了 MS-SQL， MY-SQL，DB2，和 Microsoft Access，还有那些比较常用的？。嗯，我乱了， Database 和 Data Warehouse 和 DBMS 和 Data Mining 的关系又是什么呢？

weisely

我对data mining 也很有兴趣
单纯的defination 只会让初学的人混乱, 让我们来一个真实的例子吧

现在我们有一间迷你市场的 Point Of Sales System

我用最简单的microsoft access 来设计, 里面有 stock master table, daily transaction table 等, 这就是一个 database system 了, 而microsoft access 就是一个管理这些database 的 DBMS ( Database Management System)

我这个系统之能够记录一间mini market 的资料, 所能够 present 出来的 report, 当然很有限

现在, 如果这间mini market 开了分行, 而那另外一间分店也用我的这个系统. 现在, 问题来了, 我如何计算这两间店的daily sales 呢 ?

我开始抛弃 microsoft access, 采用 SQL Server, 因为SQL server 就是一个 data warehouse !! 它能够把不同的 databases (比如, 我在第三间分店写了一套 accounting 的 系统, 这套系统里的 database 也能同样 integrate 进来)   聚在一起, 就好象一个 warehouse (货舱) 一样

OK , 现在, 我们开始进入 advance 的阶段了, 除了现有的report, 我要设计更 intelligence 的 report ! 比如, 我像要 predict 明年新年期间 我的sales 会如何.

所以, DATA MINING 这个concept 就进来了 !! 因为我现在有了 data warehouse, 所有的资料, 包括一些 historcal 的资料, 我都可以 extract 出来, 然后进行 prediction 的分析, 最后我可以 predict 到 明年新年期间我的 sales 会达到多少 !

goatstudio

nicholes82 于 16-3-2005 09:23 PM  说 :

怎么说处理成 Intelligence 呢？

你所谓的“许多 Database”是指 Data Warehouse 吗？



什么是 Atom 逻辑，哪里可以有资料看看？

你指的 Access 是不是 MS-Access？如果你指的是 MS-Access，那 DBM ...

我想我给的例子太简单了, weisely 解释的相当完整.
让我在你的问题上补充一下.

Database 是存储资料的地方, DBMS 就是管理资料软件, Data Warehouse 就是有好几个 Database 的地方. 以下是资料库的例子.

Access 是 Database, 因为它可以存储资料. Access 算是个小型 DBMS, 因为 Access 有个界面让你设计 tables, tabels 之间的关系. Access 可以做简单的 Data Mining, 因为它的 query 功能十分强大.但却不够友善.

MSSQL/ORACLE/DB2 是 Database, 因为它可以存储资料. MSSQL/ORACLE/DB2 算是个大型 DBMS, 因为 MSSQL/ORACLE/DB2 有个界面让你设计 tables, tabels 之间的关系, 还有许多强大的功能. MSSQL/ORACLE/DB2 可以做简单的 Data Mining, 因为它们的 query 功能十分强大, 但却不够友善.

MySQL 是 Database, 因为它可以存储资料. MySQL 不是 DBMS, 因为 MySQL 没有任何界面让你设计 tables, tabels 之间的关系. 你可以用 phpmyadmin, MySQL Admin 来管理 MySQL 资料库.

至于 Data Mining 呢... 以下摘自《中国统计》2002年第五期
简单来说Data Mining就是在庞大的数据库中寻找出有价值的隐藏事件，籍由统计及人工智能的科学技术，将资料做深入分析，找出其中的知识，并根据企业的问题建立不同的模型，以提供企业进行决策时的参考依据。举例来说，银行和信用卡公司可籍由Data Mining的技术将庞大的顾客资料做筛选、分析、推演及预测，找出哪些是最有贡献的顾客，哪些是高流失率族群，或是预测一个新的产品或促销活动可能带来的响应率，能够在适当的时间提供适当适合的产品及服务。也就是说，透过Data Mining企业可以了解它的顾客，掌握他们的喜好，满足他们的需要。

近年来，Data Mining已成为企业热门的话题。愈来愈多的企业想导入Data Mining的技术，美国的一项研究报告更是将Data Mining视为二十一世纪十大明星产业，可见它的重要性。一般Data Mining较长被应用的领域包括金融业、保险业、零售业、直效行销业、通讯业、制造业以及医疗服务业等。

Harimau

从 data -> information -> intelligence

举个例子好了。

比如说一家超市，每天通过 point of sale 卖出货品，并有 inventory control 记录存货。存货记录和买卖记录，是存进 database 的 data。

超市经理可以从 data 中找出，比如说沐浴乳，现在哪个牌子比较好卖，比其他牌子好卖多少。这就是 information。

intelligence 就是分析为什么那个牌子现在比较好卖，得到的结果。它可能分析出，那段时间，那个牌子请了一位很有名的明星做代言人，这是好卖的 60% 因素。另外，品牌是 30% 因素。在超市摆放的位置抢眼，是另 10% 因素。这个 intelligence，可以帮助 marketing 分析他们的 strategy 的成效，也协助他们拟定和调整未来的 strategy。

nicholes82

weisely，goatstudio，和 Harimau：
多谢各位仗义相助 ，现在理解比之前清除很多了，可是请容我继续发问，哈哈，如果问得不对，请让我知道，因为啊我在课堂很少问问题（因此没有培养到 Critical Thinking 的习惯），所以问的问题可能不能“一针见血”，嗯，应该是这样子。

好了，客套话说完，继续：

weisely 于 16-3-2005 11:41 PM  说 :
我对data mining 也很有兴趣
单纯的defination 只会让初学的人混乱, 让我们来一个真实的例子吧

现在我们有一间迷你市场的 Point Of Sales System

我用最简单的microsoft access 来设计, 里面有 stock mast ...

1) 题外话：什么是 Point Of Sales System？我之前有看过这句，可是上网找了意思却看不明白。

2) 是不是任何电脑语言程式（programming language）都能连接 Microsoft Access 来提取资料呢？是不是也是用 SQL Query 来查询与提取资料呢？

3) 如何连接不同地点的 Databases？是不是每个地点都必须采用 MS-SQL 才能与 Data Warehouse 的 SQL Server 相连？还是可以采用其他的 DBMS？

4) 冒昧问一句，MS－SQL 和 SQL Server 的关系是什么？

5) 这些 Database 与 Data Warehouse 不是一直在传输资料，对吗？我的意思是各个地点的 Database 在一个特定的时间才与 Data Warehouse 连接、传送与储存资料。这是不是也代表着每个地点的 Database 除了本身有存有那些资料，另外 Data Warehouse 也存有另一份相同的资料？

goatstudio 于 17-3-2005 01:21 AM  说 :

我想我给的例子太简单了, weisely 解释的相当完整.
让我在你的问题上补充一下.

Database 是存储资料的地方, DBMS 就是管理资料软件, Data Warehouse 就是有好几个 Database 的地方. 以下是资料库的例子 ...

1) Select * from Customer Where CustCountry = "Malaysia" => 这个 query 可以考虑成是简单的 Data Mining 的一种吗？

2) 可以如此理解吗：Data Mining 是 DBMS 中的一种用来 predict 未来趋向的技术？

3) 为什么 MySQL 不可以归类成 DBMS？因为我们可以在 MySQL 里用 “Create、Drop、Alter”功能来制造 table；我们也可以在 MySQL 里使用“Select，Insert，Delete，Update”来处理资料。

4) 为什么“query 功能十分强大, 但却不够友善.”？怎么说“不够友善”？我发现很多人都可以说出一样产品的好与坏，可是呢我却不知道如何去分析（真失败）。。。

5) 喔，对了，你之前所说的“Database 是采用 ATOM 逻辑”，“ATOM 逻辑”是什么来的？

Harimau 于 17-3-2005 10:06 AM  说 :
从 data -> information -> intelligence

举个例子好了。

比如说一家超市，每天通过 point of sale 卖出货品，并有 inventory control 记录存货。存货记录和买卖记录，是存进 database 的 data。

...

1) 在 Database 里到底是存有怎样的资料？
就拿你的例子来说，我还以为只是关系到那产品的资料？为何还包括“请了一位很有名的明星做代言人”也会被存进 Database/Data Warehouse 里的？如果这样的资料没有被包括在 Database 内，那么 Data Mining 又如何得到那些信息？

2) 还有，我们可能可以预算出未来的销售走向，可是也是有很大可能有其他因素影响，例如环境改变、社会变动、经济不景气等的影响，那么这些因素会被考虑在内吗？



p/s：相信你们对 Data Mining 有兴趣，可否介绍我（你们认为不错的）一些给初学者的网站做参考？

[ Last edited by nicholes82 on 17-3-2005 at 01:15 PM ]

weisely

WAA!!! 编程论坛又多了一个专区 , 数据库专区, 很配合我们的这个主题 ....
有什么关于 database 的问题, 都可以在那里问了
其实大家身为 programmer, 大多数都在编写商业软件, 而商业软件就是以 database 为基础的, 所以, 很多programming 的问题都是有关联到 database 的

max5007

ha1..lazy to type chinse..bcos too many
1) 题外话：什么是 Point Of Sales System？我之前有看过这句，可是上网找了意思却看不明白。

you can saw POS system at super market or any plaza...cashier system is part of POS

2) 是不是任何电脑语言程式（programming language）都能连接 Microsoft Access 来提取资料呢？是不是也是用 SQL Query 来查询与提取资料呢？
not all but most of the high level language can

3) 如何连接不同地点的 Databases？是不是每个地点都必须采用 MS-SQL 才能与 Data Warehouse 的 SQL Server 相连？还是可以采用其他的 DBMS？
if wan to link with another SQL SERVER that located at other location, just need connection string that include SQL server's IP,username and password.MS SQL SERVER also can get or import data from other SQL server like mysql

4) 冒昧问一句，MS－SQL 和 SQL Server 的关系是什么？
MS SQL SERVER is one of the SQL SERVER
MY SQL also

5) 这些 Database 与 Data Warehouse 不是一直在传输资料，对吗？我的意思是各个地点的 Database 在一个特定的时间才与 Data Warehouse 连接、传送与储存资料。这是不是也代表着每个地点的 Database 除了本身有存有那些资料，另外 Data Warehouse 也存有另一份相同的资料？
no need save the same data in difference database unless backup,bcos user can query data from multiple database at the same time.


I just try to reply it,not 100% correct ^^ haha

[ Last edited by max5007 on 17-3-2005 at 08:17 PM ]

goatstudio

nicholes82 于 17-3-2005 01:00 PM  说 :
1) Select * from Customer Where CustCountry = "Malaysia" => 这个 query 可以考虑成是简单的 Data Mining 的一种吗？

2) 可以如此理解吗：Data Mining 是 DBMS 中的一种用来 predict 未来趋向的技术？

3) 为什么 MySQL 不可以归类成 DBMS？因为我们可以在 MySQL 里用 “Create、Drop、Alter”功能来制造 table；我们也可以在 MySQL 里使用“Select，Insert，Delete，Update”来处理资料。

4) 为什么“query 功能十分强大, 但却不够友善.”？怎么说“不够友善”？我发现很多人都可以说出一样产品的好与坏，可是呢我却不知道如何去分析（真失败）。。。

5) 喔，对了，你之前所说的“Database 是采用 ATOM 逻辑”，“ATOM 逻辑”是什么来的？

1. 你可以勉强说是 Data Mining 的最基本部分. 当然, 市场的 Data Mining 比这还要复杂千百倍. 有个很贴切的例子就是, Notepad 算不算文书处理系统? 它能让你写文章, 能存储, 能打印, 所以它是文书处理, 还是最基本的. 但是, 如果说 Microsoft Office 呢? 它是个超强劲的文书处理, Notepad 能的它都能, 它还能让你打印漂亮的字, 你不满意你可以写些 Macro 来处理复杂的东西, 它还能加入试算表… 所以这就是一个简单的 sql statement 和 Data Mining 的差别.

2. Data Mining 可以是独立运作, 完全不需要 DBMS, 但需要 Database. DBMS 控制和管理 Database, Data Mining 则运用 Database 来达到自己所要的资料.

3. MySQL 所提供的界面就如 Oracle 的 pl-sql, MS-SQL 的 Query Manager. 当然, 这些虽然足够你设立一个完整的资料库, 但是, 要如何好好管理这些资料库, 还是得要有一个完整的 DBMS 系统不可. 举个例子来说, 当我建立好一和资料库, 我需要有个界面来让我管理一个资料库, 或更多资料库, 甚至另一台 server 的资料库 (Database Pool). 另外, 我需要定时拷贝资料库, 定时让这些资料库执行一些任务, 如果有出差错我需要有电邮自动发给我, 告诉我那里出了问题等… 这些一一都需要 DBMS 去执行.  举个很好的例子, MS-SQL 的 DTS 功能十分强劲, 我可以定时让 DBMS 把资料从一个资料库传送到另一个资料库去, 还能设定出差错时 DBMS 会作出什么举动, 还可以写一些 script 来执行特殊任务.

4. MS-SQL 的 Enterprise Manager 所提供的 Data Mining 十分简陋, 也就只有 DBA 才看的懂. Data Mining 的对象是高级执行人员, 还有分析师, 他们根本就不是 IT 人员, 再说他们要的资料分析不是简简单单, 而是也许牵涉到好几个资料库, 或上千个 Business Rules. 所以, 要做到一个真正的 Data Mining 系统… 确实不简单.

5. 这里我想向你道歉, 因为我说错了.我要说的东西其实是 ACID, Atomicity 只是其中之一, 另外还有 Consistency, Isolation, Durability. 现在的资料库几乎都符合这些条件.
详细看这里: ACID - a Whatis.com definition - see also: atomicity, consistency, isolation, and durability

[ Last edited by goatstudio on 17-3-2005 at 11:25 PM ]

nicholes82

weisely = max5007 吗？ 如果不是，也要谢谢你的解答。
无论用什么语言解答，能给我解答就是好的解答 。

weisely 于 17-3-2005 07:50 PM  说 :
WAA!!! 编程论坛又多了一个专区 , 数据库专区, 很配合我们的这个主题 ....
有什么关于 database 的问题, 都可以在那里问了
其实大家身为 programmer, 大多数都在编写商业软件, 而商业软件就是以 database 为基础 ...

既然大多数 programmer 都在编写商业软件，那每个 programmer 不是要对各种不同硬体与软体有很好的知识？因为要编写商业程式，很大的机会会牵涉到硬体吧，要怎么选择好的 database，DBMS，SQL server，  OS environment 等呢？

max5007 于 17-3-2005 08:16 PM  说 :
ha1..lazy to type chinse..bcos too many
1) 题外话：什么是 Point Of Sales System？我之前有看过这句，可是上网找了意思却看不明白。

you can saw POS system at super market or any plaza...cashier sy ...

a) 如果说 Data Warehouse 并不需要把各个地点的 Database 里的资料拷贝一份存在 Data Warehouse里，那么当要做 data mining 时，SQL server 不是要连接到不同的 Database 提取资料？那不是很浪费时间？

b) 各个不同地区的 Database 一定是 SQL server 吗？因为如果 Data Warehouse 要拿资料， Data Warehouse 必须亲自连接到不同的 Database 吧，如果那些 Database 都不是 server，那么 SLQ Server 可以连接到吗？

goatstudio 于 17-3-2005 11:17 PM  说 :

1. 你可以勉强说是 Data Mining 的最基本部分. 当然, 市场的 Data Mining 比这还要复杂千百倍. 有个很贴切的例子就是, Notepad 算不算文书处理系统? 它能让你写文章, 能存储, 能打印, 所以它是文书处理, 还是 ...

1) 嗯，notepad 和 MS-word 的确是很好的例子，为什么我之前没有想到的呢？我明白了，simple query 不应该归类在 Data Mining。那，我是不是应该归类 simple query 成 Query Manager 一个普通的执行任务，而不是 Data Mining。

2) 我知道 Data Mining 有很复杂的 Algorithm，因此除了 query statement，它还包含了很多的 business rules/logics，那你知道 Data Mining software 都是用什么程式语言来写的吗？它又如何与不同的 Database/Data Warehouse 连接？如果说 DBMS 是用来管理 Database，那么 Data Mining 时一定要通过 DBMS， 对吗？

3) 完整的 DBMS 大概包括什么（基本）功能呢？你指的界面是 GUI 吗？我想区分如何才算是 DBMS。

max5007

＂＂＂weisely = max5007 吗？  如果不是，也要谢谢你的解答。
无论用什么语言解答，能给我解答就是好的解答 。＂＂＂


当然不是啦
weisely是前辈我是后辈＾＾

我现在很忙。。晚上才回答你的问题。。。
DATABASE 连接、不会花很多时间的。。。
像我工作的公司连接去其他国家的分行一样。。但多数的SERVER都在malaysia,所以他们只是link/connect 来这里咯。。好像mail server,data server，web server 等。。。除非很大的公司才会分开，但DATA还是会连接去总部的。。＾＾

goatstudio

nicholes82 于 18-3-2005 11:11 AM  说 :
weisely = max5007 吗？ 如果不是，也要谢谢你的解答。
无论用什么语言解答，能给我解答就是好的解答 。


既然大多数 programmer 都在编写商业软件，那每个 programmer 不是要对各种不同硬体与软 ...

1. 你可以那样想, simple query 是 Data Mining 的基本, Data Mining 绝不是 simple query.
其实, 最终目的, 你只要了解什么是 Data Mining 就可以啦.

2. DBMS 只是管理, Data Mining 是读取. 你用文书处理打印文章, 或输出 PDF, 人们只是要读取文章的内容, 并不在乎你是用 Microsoft Words 还是 Open Office 写的, 对吗?

3. 完整的 DBMS 大致上有基本 GUI 让 DBA 管理一堆 tables, 还有 tables 之间的联系. 也要让 DBA 管理一堆资料库, 资料库之间的联系. 另外, 还有有让 DBA 定时拷贝, 定时作业, 以及进行各种特殊任务的工具. 基本上, 把资料库看成一堆文字, DBMS 看成文书处理系统. 要处理这堆文字, 你就需要文书处理系统, 就那么简单.

nicholes82

goatstudio 于 19-3-2005 01:25 AM  说 :

1. 你可以那样想, simple query 是 Data Mining 的基本, Data Mining 绝不是 simple query.
其实, 最终目的, 你只要了解什么是 Data Mining 就可以啦.

2. DBMS 只是管理, Data Mining 是读取. 你用文书处 ...

嗯，懂了，暂时明白了你说的东西 ，谢谢，如果还有“钻牛角尖”的想法，我再向你发问 。

nicholes82

max5007 于 18-3-2005 01:50 PM  说 :
＂＂＂weisely = max5007 吗？  如果不是，也要谢谢你的解答。
无论用什么语言解答，能给我解答就是好的解答 。＂＂＂


当然不是啦
weisely是前辈我是后辈＾＾

我现在很忙。。晚上才回答你的问题。。。
...

我等你的回答咯， ，不要忘了我呀，前辈。我迟点再过来看看。

nicholes82

max5007 前辈失踪？

max5007

WALAO ER。。不要叫我前辈。。。我工作不到一年啦，我和你一样正在学习当中。。我没有失踪，最近比较忙。。。很多东西要做，对不起咯。。。

nicholes82

max5007 于 22-3-2005 08:30 AM  说 :
WALAO ER。。不要叫我前辈。。。我工作不到一年啦，我和你一样正在学习当中。。我没有失踪，最近比较忙。。。很多东西要做，对不起咯。。。

不好意思，在你那么忙的时候打扰了 ，得空的时候记得帮忙补回喔 。
谢啦。