大數(shù)據(jù)在農(nóng)產(chǎn)品物流管理系統(tǒng)中的應用

21世紀是數(shù)據(jù)大發(fā)展、信息大爆炸的時代，互聯(lián)網(wǎng)（新聞、社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博、360衛(wèi)士）、物聯(lián)網(wǎng)（傳感器，智慧地球）、監(jiān)控（視頻、圖像、聲音）、通信（通話、短信）、金融（銀行、股市、保險）等都在瘋狂產(chǎn)生著數(shù)據(jù)，各種數(shù)據(jù)正在迅速膨脹并變大。當信息爆炸已經(jīng)積累到一定的程度，“大數(shù)據(jù)”概念應運而生，被稱為“第三次浪潮的華彩樂章”。馬云利用阿里巴巴平臺后臺的“大數(shù)據(jù)”成功預測2008年金融危機，中國工程院院士鄔賀銓說道“隨著智慧城市的建設，社會將步入“大數(shù)據(jù)”時代”，2012年3月29日奧巴馬政府公布了”大數(shù)據(jù)研發(fā)計劃”。騰訊、百度投資建立大數(shù)據(jù)數(shù)據(jù)處理中心，新浪推出企業(yè)微博產(chǎn)品，旨在通過對用戶行為分析，提供精準的數(shù)據(jù)分析服務，提高經(jīng)營和運營的效率，帶來業(yè)務和服務的增長和發(fā)展。

當前，我國物流業(yè)年均保持20%的高速增長，伴隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等技術(shù)的發(fā)展，我國物流業(yè)數(shù)據(jù)正以前所未有的速度在增長。數(shù)據(jù)已經(jīng)滲透到每一個物流過程，數(shù)據(jù)將成為物流企業(yè)戰(zhàn)略資產(chǎn)，市場的激烈競爭需要物流企業(yè)長期保存各類數(shù)據(jù)，以進行物流用戶行為分析、物流市場發(fā)展、物流業(yè)務增長、物流企業(yè)決策等方面的研究。阿里巴巴成立菜鳥網(wǎng)，將建成一張能支撐日均300億元網(wǎng)絡零售額的智能物流骨干網(wǎng)絡，基于“大數(shù)據(jù)”技術(shù)的充分應用，在網(wǎng)購下單時，提供“時效最快”、“成本最低”、“最安全”、“服務最好”等多個快遞組合類型。還可根據(jù)以往的快遞公司的表現(xiàn)、各個分段的報價、即時運力資源情況、該流向的即時件量等信息，甚至可以加上天氣預測、交通預測等數(shù)據(jù)，進行相關(guān)的“大數(shù)據(jù)”分析，從而得到優(yōu)化線路選項，以供客戶選擇。之后，系統(tǒng)會將訂單數(shù)據(jù)發(fā)送到各個環(huán)節(jié)，由相應的物流公司完成?！按髷?shù)據(jù)”的價值在于從海量的數(shù)據(jù)中發(fā)現(xiàn)新的知識，創(chuàng)造新的價值，通過對倉儲、流通加工、貨物包裝、運輸、配送等環(huán)節(jié)的海量數(shù)據(jù)挖掘、歸納、分類、提煉、整合，了解物流企業(yè)的經(jīng)營現(xiàn)狀和業(yè)務情況，為物流企業(yè)戰(zhàn)略規(guī)劃、用戶行為分析、日常運營管理提供重要支持和指導，提升物流行業(yè)的整體服務水平。

2、大數(shù)據(jù)概述

2.1、大數(shù)據(jù)的定義 

大數(shù)據(jù)或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。通常由圖像、音頻、視頻、非結(jié)構(gòu)化、社交關(guān)系等海量數(shù)據(jù)和復雜類型的數(shù)據(jù)構(gòu)成，包括交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集。 

2.2、大數(shù)據(jù)的4V特征 

（1）Volume （體量）：數(shù)據(jù)體量巨大，非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長，從TB級別，躍升到PB級別。

（2）Variety（多樣性）：數(shù)據(jù)類型繁多，有很多不同類型的數(shù)據(jù)，如：文本、圖像、視頻、機器數(shù)據(jù)、地理位置信息等。

（3）Value（價值密度）：價值密度低，商業(yè)價值高。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。 

（4）Velocity（速度）：處理速度快，1秒定律，立竿見影而非事后見效。實時分析而非批量式分析 。

2.3、大數(shù)據(jù)涉及的關(guān)鍵技術(shù)

名稱	需求	關(guān)鍵技術(shù)	技術(shù)描述
大數(shù)據(jù)采集處理	海量數(shù)據(jù)分布式處理	Hadoop生態(tài)系統(tǒng)	針對大量數(shù)據(jù)進行分布式處理的系統(tǒng)框架
	非結(jié)構(gòu)化數(shù)據(jù)處理	文本處理技術(shù)；自然語言理解；多媒體處理技術(shù)…	文本內(nèi)容分詞與分析；圖像、音視頻分析
	實時數(shù)據(jù)處理	流媒體數(shù)據(jù)	流計算引擎
大數(shù)據(jù)分析	可視化交互界面	交互式可視化探索分析技術(shù)	通過交互式可視化界面輔助用戶進行分析
	智能數(shù)據(jù)分析	大規(guī)模機器學習技術(shù)	計算機模擬人類學習行為，包括特征提取、圖形生成等
存儲、組織、管理	數(shù)據(jù)隱私保護	數(shù)據(jù)隱私防范保護措施與數(shù)據(jù)安全技術(shù)	保護隱私數(shù)據(jù)與信息個體的對應關(guān)系等安全技術(shù)
	高效存儲和管理大規(guī)模數(shù)據(jù)	數(shù)據(jù)存儲備份技術(shù)、數(shù)據(jù)放置和調(diào)度技術(shù)、數(shù)據(jù)溯源	存儲、放置、調(diào)度大規(guī)模的數(shù)據(jù)

表1：大數(shù)據(jù)涉及的關(guān)鍵技術(shù)

3、大數(shù)據(jù)在農(nóng)產(chǎn)品物流管理系統(tǒng)中的應用

針對傳統(tǒng)農(nóng)產(chǎn)品物流管理系統(tǒng)數(shù)據(jù)分散存儲、數(shù)據(jù)模型不統(tǒng)一、標準化程度低、無法支持非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)處理的要求、數(shù)據(jù)未能有效地進行商業(yè)利用等特點，基于大數(shù)據(jù)的農(nóng)產(chǎn)品物流管理系統(tǒng)構(gòu)建數(shù)據(jù)集中、數(shù)據(jù)模型標準化、數(shù)據(jù)統(tǒng)一存儲和處理、多結(jié)構(gòu)化數(shù)據(jù)處理的模式，對農(nóng)產(chǎn)品搜索引擎和詢價日志進行收集并管理，對海量農(nóng)產(chǎn)品數(shù)據(jù)進行并行計算和分布式處理，實現(xiàn)海量農(nóng)產(chǎn)品數(shù)據(jù)的實時加載、實時復雜查詢和數(shù)據(jù)的實時入庫，結(jié)合用戶上網(wǎng)日志和互聯(lián)網(wǎng)農(nóng)產(chǎn)品網(wǎng)頁內(nèi)容，進行深度數(shù)據(jù)挖掘和分析，為企業(yè)把握用戶行為偏好、改善用戶體驗、精準行銷、產(chǎn)品競爭力分析提供數(shù)據(jù)支持。

3.1、農(nóng)產(chǎn)品物流管理系統(tǒng)工作流程

農(nóng)產(chǎn)品物流管理系統(tǒng)首先通過GPS、無線射頻、條碼掃描等方式從運輸載體、人員、貨物中實時采集數(shù)據(jù)輸入到系統(tǒng)中，在處理之前，保存在系統(tǒng)數(shù)據(jù)庫中，以保證數(shù)據(jù)的完整性、實時性和準確性。有些數(shù)據(jù)在處理之后還有利用價值，要將其保存下來，以供以后分析使用。同時，農(nóng)產(chǎn)品物流數(shù)據(jù)在系統(tǒng)中，要準確、及時地傳輸?shù)礁鱾€職能環(huán)節(jié)，保證數(shù)據(jù)的使用價值。之后，系統(tǒng)將輸入的數(shù)據(jù)加工處理成系統(tǒng)所需要的物流信息，并進行數(shù)據(jù)挖掘、分析和利用，形成大數(shù)據(jù)價值鏈。最后就是通過網(wǎng)站、微博、微信等方式實現(xiàn)農(nóng)產(chǎn)品物流信息發(fā)布，力求在輸出形式上力求易讀易懂，直觀醒目。

農(nóng)產(chǎn)品物流管理系統(tǒng)是農(nóng)產(chǎn)品信息的主要組成部分，對農(nóng)產(chǎn)品物流信息經(jīng)過收集、儲存、加工、處理和傳輸來實現(xiàn)對農(nóng)產(chǎn)品物流活動的有效控制和管理，并通過對農(nóng)產(chǎn)品數(shù)據(jù)的挖掘、分析，為物流企業(yè)提供戰(zhàn)略規(guī)劃、溝通協(xié)調(diào)、運營管理、行為分析和決策支持的交互系統(tǒng)。系統(tǒng)由基礎(chǔ)管理、倉儲管理、銷售管理和結(jié)算管理四大子系統(tǒng)構(gòu)成，主要功能如下：

（1）基礎(chǔ)管理：對農(nóng)產(chǎn)品貨主進行身份驗證、注冊、注銷等管理，及時將農(nóng)產(chǎn)品物流相關(guān)信息通過網(wǎng)頁、論壇、微博等方式進行發(fā)布。

（2）倉儲管理：對倉庫內(nèi)的物資進行入庫、出庫、作業(yè)、流程、安全和庫存進行管理，。根據(jù)銷售管理系統(tǒng)提供的數(shù)據(jù)，對庫存進行補貨或訂貨勸告，適時適量調(diào)整訂貨的信息。

（3）銷售管理：對訂貨信息的完整度、準確度進行檢查，并對訂單的相關(guān)制約條件進行審批。根據(jù)銷售的農(nóng)產(chǎn)品銷售和客戶詢價情況，及時反饋給倉儲管理系統(tǒng)，適當控制存庫。

（4）結(jié)算管理：對農(nóng)產(chǎn)品合同進行管理，對合同的訂立、履行、解除、轉(zhuǎn)讓等情況進行管理。根據(jù)數(shù)據(jù)分析結(jié)果、客戶行為分析和市場導向，合理設定費率和費用，并根據(jù)設定的費率和費用，計算相關(guān)農(nóng)產(chǎn)品物流管理費用。