大數(shù)據(jù)在農產品物流管理系統(tǒng)中的應用

一、引言

21世紀是數(shù)據(jù)大發(fā)展、信息大爆炸的時代，互聯(lián)網(wǎng)（新聞、社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博、360衛(wèi)士）、物聯(lián)網(wǎng)（傳感器，智慧地球）、監(jiān)控（視頻、圖像、聲音）、通信（通話、短信）、金融（銀行、股市、保險）等都在瘋狂產生著數(shù)據(jù)，各種數(shù)據(jù)正在迅速膨脹并變大。當信息爆炸已經積累到一定的程度，“大數(shù)據(jù)”概念應運而生，被稱為“第三次浪潮的華彩樂章”。馬云利用阿里巴巴平臺后臺的“大數(shù)據(jù)”成功預測2008年金融危機，中國工程院院士鄔賀銓說道“隨著智慧城市的建設，社會將步入“大數(shù)據(jù)”時代”，2012年3月29日奧巴馬政府公布了”大數(shù)據(jù)研發(fā)計劃”。騰訊、百度投資建立大數(shù)據(jù)數(shù)據(jù)處理中心，新浪推出企業(yè)微博產品，旨在通過對用戶行為分析，提供精準的數(shù)據(jù)分析服務，提高經營和運營的效率，帶來業(yè)務和服務的增長和發(fā)展。

當前，我國物流業(yè)年均保持20%的高速增長，伴隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等技術的發(fā)展，我國物流業(yè)數(shù)據(jù)正以前所未有的速度在增長。數(shù)據(jù)已經滲透到每一個物流過程，數(shù)據(jù)將成為物流企業(yè)戰(zhàn)略資產，市場的激烈競爭需要物流企業(yè)長期保存各類數(shù)據(jù)，以進行物流用戶行為分析、物流市場發(fā)展、物流業(yè)務增長、物流企業(yè)決策等方面的研究。阿里巴巴成立菜鳥網(wǎng)，將建成一張能支撐日均300億元網(wǎng)絡零售額的智能物流骨干網(wǎng)絡，基于“大數(shù)據(jù)”技術的充分應用，在網(wǎng)購下單時，提供“時效最快”、“成本最低”、“最安全”、“服務最好”等多個快遞組合類型。還可根據(jù)以往的快遞公司的表現(xiàn)、各個分段的報價、即時運力資源情況、該流向的即時件量等信息，甚至可以加上天氣預測、交通預測等數(shù)據(jù)，進行相關的“大數(shù)據(jù)”分析，從而得到優(yōu)化線路選項，以供客戶選擇。之后，系統(tǒng)會將訂單數(shù)據(jù)發(fā)送到各個環(huán)節(jié)，由相應的物流公司完成?！按髷?shù)據(jù)”的價值在于從海量的數(shù)據(jù)中發(fā)現(xiàn)新的知識，創(chuàng)造新的價值，通過對倉儲、流通加工、貨物包裝、運輸、配送等環(huán)節(jié)的海量數(shù)據(jù)挖掘、歸納、分類、提煉、整合，了解物流企業(yè)的經營現(xiàn)狀和業(yè)務情況，為物流企業(yè)戰(zhàn)略規(guī)劃、用戶行為分析、日常運營管理提供重要支持和指導，提升物流行業(yè)的整體服務水平。

二、大數(shù)據(jù)概述

2.1、大數(shù)據(jù)的定義 

大數(shù)據(jù)或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業(yè)經營決策更積極目的的資訊。通常由圖像、音頻、視頻、非結構化、社交關系等海量數(shù)據(jù)和復雜類型的數(shù)據(jù)構成，包括交易數(shù)據(jù)和交互數(shù)據(jù)集在內的所有數(shù)據(jù)集。 

2.2、大數(shù)據(jù)的4V特征 

（1）Volume （體量）：數(shù)據(jù)體量巨大，非結構化數(shù)據(jù)的超大規(guī)模和增長，從TB級別，躍升到PB級別。

（2）Variety（多樣性）：數(shù)據(jù)類型繁多，有很多不同類型的數(shù)據(jù)，如：文本、圖像、視頻、機器數(shù)據(jù)、地理位置信息等。

（3）Value（價值密度）：價值密度低，商業(yè)價值高。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。 

（4）Velocity（速度）：處理速度快，1秒定律，立竿見影而非事后見效。實時分析而非批量式分析 。

2.3、大數(shù)據(jù)涉及的關鍵技術

表1：大數(shù)據(jù)涉及的關鍵技術

三、大數(shù)據(jù)在農產品物流管理系統(tǒng)中的應用

針對傳統(tǒng)農產品物流管理系統(tǒng)數(shù)據(jù)分散存儲、數(shù)據(jù)模型不統(tǒng)一、標準化程度低、無法支持非結構化和半結構化數(shù)據(jù)處理的要求、數(shù)據(jù)未能有效地進行商業(yè)利用等特點，基于大數(shù)據(jù)的農產品物流管理系統(tǒng)構建數(shù)據(jù)集中、數(shù)據(jù)模型標準化、數(shù)據(jù)統(tǒng)一存儲和處理、多結構化數(shù)據(jù)處理的模式，對農產品搜索引擎和詢價日志進行收集并管理，對海量農產品數(shù)據(jù)進行并行計算和分布式處理，實現(xiàn)海量農產品數(shù)據(jù)的實時加載、實時復雜查詢和數(shù)據(jù)的實時入庫，結合用戶上網(wǎng)日志和互聯(lián)網(wǎng)農產品網(wǎng)頁內容，進行深度數(shù)據(jù)挖掘和分析，為企業(yè)把握用戶行為偏好、改善用戶體驗、精準行銷、產品競爭力分析提供數(shù)據(jù)支持。

3.1、農產品物流管理系統(tǒng)工作流程

農產品物流管理系統(tǒng)首先通過GPS、無線射頻、條碼掃描等方式從運輸載體、人員、貨物中實時采集數(shù)據(jù)輸入到系統(tǒng)中，在處理之前，保存在系統(tǒng)數(shù)據(jù)庫中，以保證數(shù)據(jù)的完整性、實時性和準確性。有些數(shù)據(jù)在處理之后還有利用價值，要將其保存下來，以供以后分析使用。同時，農產品物流數(shù)據(jù)在系統(tǒng)中，要準確、及時地傳輸?shù)礁鱾€職能環(huán)節(jié)，保證數(shù)據(jù)的使用價值。之后，系統(tǒng)將輸入的數(shù)據(jù)加工處理成系統(tǒng)所需要的物流信息，并進行數(shù)據(jù)挖掘、分析和利用，形成大數(shù)據(jù)價值鏈。最后就是通過網(wǎng)站、微博、微信等方式實現(xiàn)農產品物流信息發(fā)布，力求在輸出形式上力求易讀易懂，直觀醒目。

3.2、農產品物流管理系統(tǒng)結構設計

農產品物流管理系統(tǒng)是農產品信息的主要組成部分，對農產品物流信息經過收集、儲存、加工、處理和傳輸來實現(xiàn)對農產品物流活動的有效控制和管理，并通過對農產品數(shù)據(jù)的挖掘、分析，為物流企業(yè)提供戰(zhàn)略規(guī)劃、溝通協(xié)調、運營管理、行為分析和決策支持的交互系統(tǒng)。系統(tǒng)由基礎管理、倉儲管理、銷售管理和結算管理四大子系統(tǒng)構成，主要功能如下：

（1）基礎管理：對農產品貨主進行身份驗證、注冊、注銷等管理，及時將農產品物流相關信息通過網(wǎng)頁、論壇、微博等方式進行發(fā)布。

（2）倉儲管理：對倉庫內的物資進行入庫、出庫、作業(yè)、流程、安全和庫存進行管理，。根據(jù)銷售管理系統(tǒng)提供的數(shù)據(jù)，對庫存進行補貨或訂貨勸告，適時適量調整訂貨的信息。

（3）銷售管理：對訂貨信息的完整度、準確度進行檢查，并對訂單的相關制約條件進行審批。根據(jù)銷售的農產品銷售和客戶詢價情況，及時反饋給倉儲管理系統(tǒng)，適當控制存庫。

（4）結算管理：對農產品合同進行管理，對合同的訂立、履行、解除、轉讓等情況進行管理。根據(jù)數(shù)據(jù)分析結果、客戶行為分析和市場導向，合理設定費率和費用，并根據(jù)設定的費率和費用，計算相關農產品物流管理費用。

3.3、大數(shù)據(jù)在農產品物流銷售統(tǒng)計分析系統(tǒng)中的應用

農產品物流銷售管理系統(tǒng)中的統(tǒng)計分析子系統(tǒng)通過對用戶信息提取、訪問熱點分析、產品競爭力對比分析，結合用戶上網(wǎng)日志及互聯(lián)網(wǎng)網(wǎng)頁內容，仔細對客戶進行細分，分析用戶決策因素、購物偏好、價格承受范圍，為準確把握用戶購買心理，產品發(fā)展趨勢，企業(yè)戰(zhàn)略規(guī)劃，系統(tǒng)運營管理提供決策支持。

3.4、農產品物流管理系統(tǒng)數(shù)據(jù)庫架構設計

系統(tǒng)采取以Hadoop為代表的NOSQL數(shù)據(jù)庫技術和基于SQL的分布式數(shù)據(jù)庫技術，采用Hadoop和數(shù)據(jù)倉庫混搭的方式，對結構化和非結構化的海量數(shù)據(jù)和復雜數(shù)據(jù)進行存儲與處理。將結構化、不需要關聯(lián)分析、查詢較少的數(shù)據(jù)保存在NOSQL數(shù)據(jù)庫或Hadoop平臺中；將結構化、需要關聯(lián)分析或經常查詢的數(shù)據(jù)保存在關系型數(shù)據(jù)庫中，短期高價值數(shù)據(jù)放在高性能平臺，中長期的數(shù)據(jù)放在低成本平臺中，以實現(xiàn)數(shù)據(jù)高效率低成本的存儲和處理。

四、結束語

隨著物流企業(yè)應用大數(shù)據(jù)的逐漸深入，未來物流企業(yè)將獲取海量的企業(yè)內外部數(shù)據(jù)，而通過對這些數(shù)據(jù)的收集、存儲、處理和分析，物流企業(yè)將更加了解行業(yè)發(fā)展趨勢和自身經營現(xiàn)狀，也更加了解客戶，甚至可以做到為每一個客戶量身定制個性化需求的產品和服務，從而顛覆整個物流商業(yè)模式。正如《大數(shù)據(jù)時代》所言，“人類從依靠自身判斷做決定到依靠數(shù)據(jù)做決定的轉變，也是大數(shù)據(jù)作出的最大貢獻之一”。大數(shù)據(jù)賦予我們洞察未來的能力 ，物流企業(yè)必須學會利用“大數(shù)據(jù)”，分析數(shù)據(jù)背后隱藏的規(guī)律，查找新的利潤源和增長點，提高企業(yè)運營和管理的效率，帶來業(yè)務和服務的增長和發(fā)展，幫助尋找“藍海”領域和新的商業(yè)模式，促進企業(yè)發(fā)展壯大和可持續(xù)成長。