项目背景
法国农业与食品部下属的方法支持与质量办公室（BMSQ）的技术团队负责评估和提供软件解决方案。作为数据专家，团队重点重构了商业捕鱼业活动追溯系统，旨在提升渔业数据采集与分析的质量、速度和精度。这些数据包括申报渔获量、港口离港清单以及渔船GPS定位信息。
技术选型
项目初期对多种工具进行了基准测试，最终选择Elastic技术栈而非Graylog和Splunk，主要基于以下优势：
- 处理速度和易用性
- 强大的可扩展能力
- Kibana和Canvas提供的关键数据可视化功能
- 技术支持团队显著缩短了开发周期
系统架构
- 数据采集：通过渔船GPS系统（12米以上渔船强制安装）实时获取定位数据
- 数据处理：使用Logstash进行数据清洗和转换
- 存储与索引：数据存入Elasticsearch集群，支持300多个过滤字段
- 可视化：通过Kibana和Canvas生成动态可视化报表
核心功能
- 实时追踪渔船活动区域和密集捕捞区
- 监测联合国粮农组织（FAO）划分区域的捕捞配额
- 自动标记违法行为
- 支持10年原始数据存储（当前1.35亿条记录）
- 处理XML格式的电子报告系统（ERS）数据
技术亮点
- 采用Elastic 7.11/7.12版本的新功能：
- 地图应用中的轨迹图层功能
- 将按时间排序的定位点显示为航线
- 批处理建模实现持续增长数据量的实时查询
- 支持新数据到达时自动重建索引
应用成效
- 快速识别受保护物种误捕情况
- 支持欧盟年度配额重新谈判
- 及时应对涉及海洋保护的媒体争议
- 为从农场到餐桌的食品追溯系统提供技术储备
未来规划
- 推广解决方案至更多用户群体
- 测试法语版Kibana以扩大使用范围
- 拓展至政治、经济和环境领域的数据分析应用