印度的水文学家。

阿富汗训练& 水数据安全

我刚刚从印度之行返回,在那里我为来自印度的水文学家和水资源管理人员提供了培训。 联合国 并从 阿富汗能源和水利部.

这次旅行具有启发性,挑战性和观点转变。

我一直以为我在北极的工作 水调查  of Canada 就像一些最具挑战性的实地调查一样。元素,隔离和环境是无法原谅的,但是我从未对办公室环境,网络安全性,建筑物安全性或数据存储进行过多考虑。与大多数同事一样,我抱怨钥匙扣和太多的密码无法记住,但是我们从来不必考虑或担心安全性。我们在网络上免费提供了数据。

谁想窃取或销毁我的数据?在旅行中,我了解到这是我很荣幸拥有的隐蔽视野。

与印度的培训小组聊天很快使我看到了我从未想过的事情。我们谈到了他们的历史水记录,其历史范围从1960年左右到1980年,然后是2007年至今。

从1980年到2007年,数据差距超过了其整个历史水记录!

如果您对日期有所了解,那么日期可以讲一个故事。 阿富汗历史。俄罗斯于1979年12月入侵了阿富汗。显然,与占领作斗争时,水监测并不是优先事项。接下来是内战, 塔利班 统治,然后美国紧随其后 2001年9月11日.

快进到2007年。  已经获得了发展资金来帮助该国重建,但是农业,发电和基础设施重建项目都需要水数据。能源和水利部已开始重建其网络,如今它拥有125个自动水文站,包括43个电缆通道,26个自动气象站和30个自动降雪测量站。我问他们阿富汗有多安全,他们的野外工作有多艰巨。

他们谦虚地答复说,某些电台存在“安全问题”。

当我想到一个车站的“安全问题”时,我想到的是故意破坏者,但这不是他们所指的,我的观点突然发生了变化。我问了他们的历史记录–这是我的观点被颠倒的地方。

他们有1960-1980年的“水书”。

这些是水记录的年度出版物,但是在1980年至2007年之间,许多辅助数据都被破坏了。这意味着没有工作人员仪表读数,没有测量数据,也没有现场考察报告。已发布的数据永远都不会被再次访问;所有这些工作都只能通过年度摘要报告来丢失和保留。

想想看,投入该数据收集的所有工作,时间和金钱都消失了。

现在考虑一下您的数据。您对数字和硬拷贝的数据存储和备份了解多少?您的数据库多久备份一次?它在哪里备份?您如何存储纸质副本?您的所有数据都在数据库中吗?如果发生火灾,洪水,地震等,该怎么办?您的所有数据(包括硬拷贝)都能生存吗?如果您曾经在暴风雨中站在桥下收集单个数据点或管理了现场程序的预算,那么您就会知道该数据的重要性。

今天,我们有能力通过数字采集或扫描纸质副本并以数字方式存储数字化方式捕获环境数据。

较旧的数据库和系统无法管理元数据(例如扫描的图纸和图片),这些元数据最终与时间序列数据存储在不同的位置。如果您将所有数据(包括元数据)存储在组织内每个人都可以访问的中央数据库中,该怎么办?如果所有这些数据和元数据都在一个或多个位置异地备份怎么办?这些位置可以在任何地方:在不同的建筑物,国家/地区,在云中或在这三个位置中。所有数据和元数据的中央数据输入和存储以及适当的备份过程可确保安全性,并确保您的数据可以长期保存。

现代数据管理系统可以在数据生命周期内保护有价值的环境数据。

这提供了一个思路。有幸提供 水瓶座 联合国和阿富汗能源与水利部对水务专业人员进行了培训,因为他们知道准确,及时的水务数据将是安全的,并为子孙后代提供。

5条留言
  • Gerald Dörflinger
    回复
    发表于2013年11月7日凌晨2:55

    嗨贾米森,
    在塞浦路斯,我们也失去了我们的“supporting data”在1974年土耳其入侵期间,如果您在水文年鉴中留有平均每日流量,这确实是一件坏事。
    您提出的另一个有趣的观点是“农业,发电和基础设施重建项目都需要水数据”。这显然是非常正确的,但通常不为负责监督计划的资金的决策者所认可。我什至会说其中有些人认为“easier”(=限制较少)在没有该数据的情况下做出决策,这也可能会影响资金。
    而且,对于能够存储所有数据,元数据,扫描的历史记录表非常重要&定期备份的中央数据库中的表格,计算,图片等。我认为,有许多国家尚未建立这样的设施,其中包括我正在工作的国家。
    即使没有太多讨论和发布,也要保持发布–它可能会在将来出现。
    最好,
    杰拉尔德

    • Jamison Romano
      回复
      发表于2013年11月14日下午3:52

      感谢Gerald,

      不幸的是,我担心在这种情况下数据丢失的发生率比我想象的要多得多。不仅会丢失数据,而且通常在进行此类入侵/军事行动之后,需要重新开发数据,这些数据应有助于指导数据消失。更糟糕的是,通常在此类事件发生后立即最容易获得资金,因此需要做出快速决策才能获得该资金。

      通过我在这里的工作,我很幸运地看到许多团体,机构,政府等致力于基于事实的决策,并积极寻求信息来指导决策。我认为越来越多的人希望数据指导政策。不幸的是,总是有决策者认为自己是对的,无论数据怎么说,甚至谁主动压制该数据,但我认为这变得越来越难。

      Sometimes I think that data can be overwhelming both 在 volume and variety. Central databases such as 水瓶座 are designed to handle large volumes and varieties of data make data management less 在 timidating. Integrated tools, functions and reports make getting 在 formation from your data 更轻松.

      我对此主题的爱好是,我们开始讨论围绕数据的所有信息。数据(即阶段,排放)只是数字,没有上下文。支持数据和元数据提供上下文,并允许该数据成为信息并且功能强大。

      祝你顺利

      干杯
      杰米

  • Dave Gunderson
    回复
    发表于2013年11月7日晚上11:33

    我们从安全性和现场数据收集中学到的知识需要一段时间才能学习。我们大多数人将远程站点的安全性与物理安全性相关联。使您的帖子有趣的是,您意识到安全性完全与维护数据收集过程有关。没有人考虑过在保护收藏的网站内可以采取的小步骤。在物理组件之外,可以采取哪些简单的步骤来使馆藏保持正常运转?

    电池管理。其实生活’到现场。失去力量,失去收藏。监控电池’在您的收藏中收取费用。观察电压以及它们在一个晚上的过程中如何波动通常会让您知道电池的真实性质’的条件。现场采取了更积极的电池管理措施’s electrical design –也就是说,使用隔离太阳能的调节器’电池放电后的负载。我们通常将数据记录仪连接到电池,将遥测设备连接到调节器的负载侧。是的,您丢失了站点的遥测部分,但是数据记录器仍在收集数据。这是安全性的一个方面吗?你打赌这是。

    数据记录文件。让’认为这有点。大多数临时用户在现代数据记录器中将日志的大小设置得太小。如果不定期访问该站点,则数据可以小日志记录。当您访问时,越大越好’不会如您所愿地及时发生。还有什么?较新的数据记录器可以记录到外部介质以及数据记录器中包含的内部闪存’的主板。登录到两个位置以获取相同的数据。如果数据记录器在现场发生故障–删除外部媒体,您已经保存了您的收藏集。这是数据安全吗?是。

    传感器。如果您将站点设计为对最关键的测量具有冗余感测–您处于领先地位。如果您在只有一个传感器的站点上丢失了传感器– you’丢失了收藏。具有第二个与主要传感器一起收集的传感器,不仅可以在发生故障时为您节省费用,而且还提供了一种验证站点可能存在异常的方法。这更贵吗?是的,没有。如果传感器发生故障– it’无价的。这是数据安全吗?是。

    元数据。从你的帖子我’我正在考虑网站上维护的纸质日志。如果有资格作为网站元数据–这本书。我们从现场闯入和将日志扔进河里的第一手资料中得知这是一个严重的损失。在此情节之后,我们将书面日志的关键组件集成到了数据记录器中的闪存文件中(这并非易事)。这里有个有趣的笔记。照片中的DCP(Sutron 9210B)可以直接将现场注释直接输入到收集日志中。元数据的一种交互形式。此功能由供应商根据最终用户的要求开发。很高兴知道供应商会听取社区的需求。

    很棒的帖子。感谢分享。

    戴夫

    • Jamison Romano
      回复
      发表于2013年11月14日下午4:53

      嗨戴夫

      我不能’同意更多。您已将我的职位更进一步,并涵盖了从摇篮到坟墓的数据安全方法。您可以’保护您的数据’收集。考虑收集过程中的每个步骤并保护该步骤非常重要。询问“What if?”一遍又一遍是如此重要。然后规划和设计系统以解决这些问题的答案。

      不幸的是,由于成本,这些措施很多都被忽视了。经理可以理解地看到设备,系统和员工时间的成本,但可能不会’直接看到丢失数据的代价。它没有’t mean they don’不用担心或不要’尽最大努力避免这种情况,但是预算限制是非常现实的。

      对我而言,以各种形式对数据进行数字化非常重要。内存价格便宜,并且通过高速网络,可以轻松地将数据存储在许多位置,就像内部和外部日志记录示例一样。如果可以数字方式输入观察/写入的数据,那么您就可以限制转录错误并避免重复的数据处理。该数据可以立即在现场的多个设备上备份。这使工作流程更安全,更高效。

      我同意供应商参与,倾听并响应最终用户非常重要。通过这种协作,可以为实际应用开发创新的解决方案和工具。

      干杯
      杰米

      • Dave Gunderson
        回复
        发表于2013年11月19日上午12:00

        嗨杰米,

        我同意某些经理会考虑站点部署的基本成本。我记得几年前与USGS的一位同事进行过一次交谈。他踢出了自己的量具,每个站点每年的成本为$ 21K。那是假设没有失败或故意破坏。在为多个测量站点提供服务时,我们倾向于分批处理它们。也就是说,我们在同一地点的地理区域内工作。这样可以节省运营成本。

        当站点由于传感器故障,电源问题或故意破坏而瘫痪时–我们必须迅速做出反应以解决问题。进行计划外的维修旅行会花费大量金钱。考虑一下员工时间的总支出,O&M成本,机车车辆,差旅成本。如果使站点重新联机,则很容易达到几千美元。同样,为了增加成本,水文学家必须重新构造丢失的记录。更多时间和金钱…

        最重要的是,在规划和部署站点时,有些想法通常可以最大程度地减少以后可能发生的损失。

        为什么大多数网站的设计最少?许多部署网站的人’认为整体过程不对。在某些情况下’我们已经看到,该站点以临时方式(临时解决方案,规划不充分或临时安装)连接到现场。这里有没有人看过设计和部署网站的指南???

        您还提到了高速网络。一旦数据到达服务器,通常会发生这种情况。现场遥测通常是瓶颈–明智的数据。一些现代的数据记录器支持基于IP的通信,但是在远程站点中存在局限性。 GSM / CDMA解决方案的数据传输价格昂贵。你想到每月‘bit load’成本和工作。

        无论如何,今天在网站上可以提供给我们的选项比我刚开始时提供的选项要多得多。那是前一段时间。

发表评论

评论
名称
电子邮件
网站