Accounting

Only available on StudyMode
  • Download(s) : 55
  • Published : April 10, 2013
Open Document
Text Preview
Big Data 101
Etu
November 1, 2012

什麼是 Big Data?

2

更大的資料數量等級、更多的資料格式

Big Data

= >= = +
+
3

Big Data

Big Data 要處理的資料量級 (sizing)
• Yottabyte
• Zettabyte

• Gigabyte
• Megabyte • Kilobyte
* 1.8ZB World Wide Total @2011

4

Big Data 時代來臨 – 新量級、新處理模式、新企業智慧 行動/互聯網
Mobile/Internet

物聯網
Internet of Things

Unstructured (非結構化) • Web Pages • E-mail • Multimedia • Instant Messages • More Binary Files Semi-structured (半結構化)

Structured (結構化)
• Relational Database • File in record format

• XML • Logs • Click-stream • Equipment / Device • RFID tag

5

Big Data 的趨勢與價值

6

什麼是 Big Data ?

7

企業熟悉的資料管理工具

資料庫 (Database)

資料倉儲 (Data warehouse)

8

但您知道嗎?
主管們看的戰情數位儀表板,其實是殘缺的…

您現在看的 Dashboard,其實資訊殘缺了 DB/DW 85% 企業結構化資料 15% 未視:半/非結構化資料 85% 非結構化資料 85%

可視:結構化資料 15%

9
9

CIO Survey 2012

同樣是第一名,在不同年代有不同內涵

年度科技優先順序 (Technology Priorities)

Number: 2,335

Source: Gartner, 2012

10

變遷中的 Business Intelligence

BI in 2008/2009

BI from 2012

image credit: David Fierstein
11

11

2020 前的 10 大趨勢主軸
沒有一項趨勢是獨自發展的!我們正被一個大生態系推著走

Source: “Top Ten Trend in CRM for 2020”, Gartner, 2012
12

Big Data 對企業的價值

預估未來

競爭策略
客戶滿意

Survey of IT Decision Makers from 304 companies

Source: GigaOM Pro, March 2012

13

企業 Big Data 處理的效益
競爭差異化

微型趨勢 銷售

提供 新服務
偵測 詐騙

掌握 市占率

降低成本 與風險
節省 時間

降低 退約率 用戶 自我服務 改善 客戶體驗

育成新事業

降低複雜度

Photo credit: emurray, joanna8555 and Meredith Garstin on Flickr

14

探索 Big Data,創新行業價值
產業
跨業需求 電信 Telecommunication 金融 Financial Service 服務業 Service 線上服務 Online Service 電子商務 E-Commerce

應用方向
• 客戶服務 • 安全管控 • 法規遵從 • CDR 分析 • 網路效能與最佳化 • 行動用戶行為分析 • 信用評等與分析 • 交易監控 • 行銷活動管理與客戶紅利計畫 • 市場與消費者區隔分析 • 大規模點擊行為分析 (精準行銷) • 產品關聯推薦 (Ranking base/ Browsing base) • 研發、工程技術、製程資料整合,提高良率、縮短產品上市時間 • 病人照護品質分析 • 藥品發覺與發展分析

製造 Manufacturing
健康醫療 Health & Life Sciences

15

Big Data 的挑戰與處理

16

Big Data 要處理的三個面向:3V

Velocity

處理時效

Variety

Volume
資料量

資料格式

17

30字箴言
Volume Variety

很多的非/半結構化資料
Velocity

要在一定的時間內處理完 而且成本不能太高
18

12字箴言

資料大到傳統方法無法處理

19

一個充滿意圖與關聯的世界

20

何謂意圖?
• 明示 (直接的意圖)

– 直接表達於言語、文字、或動作
• 默示 (間接的意圖) – 透過特定行為去推知

 Big Data 要處理分析的,一般為默示意圖

21

反意圖:因為不了解意圖,所以浪費

您還在做促銷網頁與頻發電子報嗎?

22

正意圖
• 強化熱點 • 個人化郵件 • 關聯式推薦

23

有哪些關聯?
• 商品與商品 • 人與人

 然後把人與商品關聯起來,創造更大的價值 更多的關聯維度: • 時間 • 地點 • 事件

24

關聯推薦的完美實踐 I – Netflix
比你的枕邊人還要了解你對影片的喜好

用戶租看的影片 75% 來自系統的自動推薦
預測用戶對一部影片的評等 誤差不會超過半顆星

25

關聯推薦的完美實踐 II – Amazon
以小書商體貼的初衷,長成地球上最大的個人化零售商

每秒賣出 72.9 項商品 (Oct. 2010) 想方設法,讓客戶與商品配對

26

Amazon 每秒賣出 72.9 項商品的秘訣
訂單積累 (基本) 的關聯推薦

27

Amazon 每秒賣出 72.9 項商品的秘訣
完美 (無所不用其極) 的個人化關聯推薦

28

Amazon 每秒賣出 72.9 項商品的秘訣
用戶對一項商品下評論、標籤、討論、評等 (顆星), 都將影響自己與他人的個人化關聯推薦

29

關聯推薦的完美實踐 III – Yahoo! Homepage

Personalized

for each visitor
Result:

twice the engagement

Recommended links

News Interests

Top Searches

+79% clicks
vs. randomly selected

+160% clicks
vs. one size fits all

+43% clicks
vs. editor selected

30

企業可以向超級雲端公司學習的意圖與關聯智慧

萬事皆搜尋
智慧回應每日億級瀏覽行為 百萬商品關聯推薦 10 億人際關係多維度分享 31

Big Data 產業鏈

整合:從 Big Data 到 Total Data
聲音檔案 影片檔案 圖形檔案 文件檔案 文字資料 XML檔案 Web Logs 點擊事件
SQL NoSQL


回饋/歷史資料

Web, Mobile, CRM, ERP, SCM, …

OLTP

商務交易 與 行為互動
New SQL

社交網路 關聯圖譜 新聞 Feeds 感應器 嵌入設備 RFID Tags



Big Data 精煉處理場


預處理
EDW MPP New SQL


傳統 ETL

多結構資料 儲存/彙整/轉換/運算

地理資訊 GPS 點位
事件 其他


回饋/歷史資料
Dashboard, Report, Visualization, …

商業智慧 與 線上分析
OLAP

Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture

整合:從 Big Data 到 Total Data
聲音檔案 影片檔案 圖形檔案 文件檔案 文字資料 XML檔案 Web Logs 點擊事件
SQL NoSQL


回饋/歷史資料

Web, Mobile, CRM, ERP, SCM, …

OLTP

商務交易 與 行為互動
New SQL

社交網路 關聯圖譜 新聞 Feeds 感應器 嵌入設備 RFID Tags



Big Data 精煉處理場


預處理
EDW MPP New SQL


傳統 ETL

多結構資料 儲存/彙整/轉換/運算
tracking img