基于以太坊的日志存储系统

1. 如何实现日志的集中化存储

在我们的企业中有多种不同的设备，服务器、交换机、防火墙以及路由器等等设备，而这些设备会产生大量的日志。如果网络中出现故障时，如果一台一台的去查询日志，那工作量就太大了，而且不容易查询。所以最好的办法就是日志集中收集存储。
Windows系统有自带的WMI服务，通过该服服务就可以远程收集windows系统的日志。网络设备的日志通常是基于syslog日志的转发。通过这种技术将日志统一的发送集中到一台服务器上。在这台服务器上使用工具接收发送过来的数据，将其保存为文本文件，集中的保存日志。
卓豪EventLog Analyzer就是一个专门针对日志管理的工具，可以对企业中各种设备日志的统一收集存储并分析。

2. 什么样的日志适合存储在redis

1.Redis是什么这个问题的结果影响了我们怎么用Redis。如果你认为Redis是一个keyvaluestore,那可能会用它来代替MySQL；如果认为它是一个可以持久化的cache,可能只是它保存一些频繁访问的临时数据。Redis是REmoteDIctionaryServer的缩写，在Redis在官方网站的的副标题是Apersistentkey-valuedatabasewithbuilt-innetinterfacewritteninANSI-CforPosixsystems，这个定义偏向keyvaluestore。还有一些看法则认为Redis是一个memorydatabase，因为它的高性能都是基于内存操作的基础。另外一些人则认为Redis是一个datastructureserver，因为Redis支持复杂的数据特性，比如List,Set等。对Redis的作用的不同解读决定了你对Redis的使用方式。互联网数据目前基本使用两种方式来存储，关系数据库或者keyvalue。但是这些互联网业务本身并不属于这两种数据类型，比如用户在社会化平台中的关系，它是一个list，如果要用关系数据库存储就需要转换成一种多行记录的形式，这种形式存在很多冗余数据，每一行需要存储一些重复信息。如果用keyvalue存储则修改和删除比较麻烦，需要将全部数据读出再写入。Redis在内存中设计了各种数据类型，让业务能够高速原子的访问这些数据结构，并且不需要关心持久存储的问题，从架构上解决了前面两种存储需要走一些弯路的问题。2.Redis不可能比Memcache快很多开发者都认为Redis不可能比Memcached快，Memcached完全基于内存，而Redis具有持久化保存特性，即使是异步的，Redis也不可能比Memcached快。但是测试结果基本是Redis占绝对优势。一直在思考这个原因，目前想到的原因有这几方面。Libevent。和Memcached不同，Redis并没有选择libevent。Libevent为了迎合通用性造成代码庞大(目前Redis代码还不到libevent的1/3)及牺牲了在特定平台的不少性能。Redis用libevent中两个文件修改实现了自己的epolleventloop(4)。业界不少开发者也建议Redis使用另外一个libevent高性能替代libev，但是作者还是坚持Redis应该小巧并去依赖的思路。一个印象深刻的细节是编译Redis之前并不需要执行./configure。CAS问题。CAS是Memcached中比较方便的一种防止竞争修改资源的方法。CAS实现需要为每个cachekey设置一个隐藏的castoken，cas相当value版本号，每次set会token需要递增，因此带来CPU和内存的双重开销，虽然这些开销很小，但是到单机10G+cache以及QPS上万之后这些开销就会给双方相对带来一些细微性能差别(5)。3.单台Redis的存放数据必须比物理内存小Redis的数据全部放在内存带来了高速的性能，但是也带来一些不合理之处。比如一个中型网站有100万注册用户，如果这些资料要用Redis来存储，内存的容量必须能够容纳这100万用户。但是业务实际情况是100万用户只有5万活跃用户，1周来访问过1次的也只有15万用户，因此全部100万用户的数据都放在内存有不合理之处，RAM需要为冷数据买单。这跟操作系统非常相似，操作系统所有应用访问的数据都在内存，但是如果物理内存容纳不下新的数据，操作系统会智能将部分长期没有访问的数据交换到磁盘，为新的应用留出空间。现代操作系统给应用提供的并不是物理内存，而是虚拟内存(VirtualMemory)的概念。基于相同的考虑，Redis2.0也增加了VM特性。让Redis数据容量突破了物理内存的限制。并实现了数据冷热分离。4.Redis的VM实现是重复造轮子Redis的VM依照之前的epoll实现思路依旧是自己实现。但是在前面操作系统的介绍提到OS也可以自动帮程序实现冷热数据分离，Redis只需要OS申请一块大内存，OS会自动将热数据放入物理内存，冷数据交换到硬盘，另外一个知名的“理解了现代操作系统(3)”的Varnish就是这样实现，也取得了非常成功的效果。作者antirez在解释为什么要自己实现VM中提到几个原因(6)。主要OS的VM换入换出是基于Page概念，比如OSVM1个Page是4K,4K中只要还有一个元素即使只有1个字节被访问，这个页也不会被SWAP,换入也同样道理，读到一个字节可能会换入4K无用的内存。而Redis自己实现则可以达到控制换入的粒度。另外访问操作系统SWAP内存区域时block进程，也是导致Redis要自己实现VM原因之一。5.用get/set方式使用Redis作为一个keyvalue存在，很多开发者自然的使用set/get方式来使用Redis，实际上这并不是最优化的使用方法。尤其在未启用VM情况下，Redis全部数据需要放入内存，节约内存尤其重要。假如一个key-value单元需要最小占用512字节，即使只存一个字节也占了512字节。这时候就有一个设计模式，可以把key复用，几个key-value放入一个key中，value再作为一个set存入，这样同样512字节就会存放10-100倍的容量。这就是为了节约内存，建议使用hashset而不是set/get的方式来使用Redis，详细方法见参考文献(7)。6.使用aof代替snapshotRedis有两种存储方式，默认是snapshot方式，实现方法是定时将内存的快照(snapshot)持久化到硬盘，这种方法缺点是持久化之后如果出现crash则会丢失一段数据。因此在完美主义者的推动下作者增加了aof方式。aof即appendonlymode，在写入内存数据的同时将操作命令保存到日志文件，在一个并发更改上万的系统中，命令日志是一个非常庞大的数据，管理维护成本非常高，恢复重建时间会非常长，这样导致失去aof高可用性本意。另外更重要的是Redis是一个内存数据结构模型，所有的优势都是建立在对内存复杂数据结构高效的原子操作上，这样就看出aof是一个非常不协调的部分。其实aof目的主要是数据可靠性及高可用性，在Redis中有另外一种方法来达到目的：Replication。由于Redis的高性能，复制基本没有延迟。这样达到了防止单点故障及实现了高可用。小结要想成功使用一种产品，我们需要深入了解它的特性。Redis性能突出，如果能够熟练的驾驭，对国内很多大型应用具有很大帮助。

3. linux下系统日志 操作日志 告警日志怎么存储

cd /var/log 默认的都在这边 其他的都是特殊设置放在别的地方 分析这个靠你自己熟悉每个日志记录啥才能清楚

4. 单片机日志系统设计

你说的很笼统，不过思路都是挺简单的，问题的关键在于故障判断和存储

1、流程是： 系统故障（向单片机发送故障代号（自定义））->单片机接收->单片机存储故障代号 和时间等相关信息
2、查询故障： 读取E2PROM的数据即可，

不能用51单片机直接存储数据，否则没电时数据就没了，E2PROM即使掉电也能存储数据，所以应该在51单片机外围加上E2PROM存储器（I2C通信），若考虑电路简化，可以更换单片机，51单片机没有内置E2PROM，需要外接，而其他型号单片机大多都内置E2PROM，操作简单。

5. 路由器日志42 INFO 0days, 05:13:40,DHCPC1: eth1 set ip 192.168.1.3 mask 255.255.25

你这个是ARP冲突，不知道你实际的物理连接是怎么样的。
一般DHCP自动获取IP的情况下，路由器下再接路由器，并且两台路由器的LAN口IP相同，或者是两台路由器IP不同，但都开启了DHCP服务，那么就会出现你上述的现象。
或者电脑插入了随身WIFI，如360随身WIFI，360随身WIFI默认获取到的是192.168.1.1，那么就和你的路由器的IP192.168.1.1造成了ARP冲突。
两台路由器连接方法有两种：
1 第二台路由器关闭DHCP，更改LAN口IP地址，改为与主路由器的LAN口IP同网段不同IP。
然后网线两端分别接两台路由器的LAN口
2 还有一种方法是第二台路由器关闭DHCP，选择WAN口，宽带类型选择固定IP，固定IP设置为与主路由器LAN口IP同网段不同IP。
第二台路由器LAN口IP：改为与主路由器LAN口IP不同网段IP
然后网线两端分别接第一台路由器的LAN口和第二台路由器的WAN口

6. 基于链式存储的仓库管理系统

问题描述 对于文件系统的一些错误理解，经常有这样的说法，“我的硬盘是FAT32格式的”，“C盘是NTFS格式”等，它们的错误在于，NTFS或是FAT32并不是格式，而是管理文件的系统。 其次刚买回来的硬盘并没有文件系统，必须使用FDISK或Windows 2000/XP的分区工具对其进行分区并格式化后才会有管理文件的系统，因此文件系统是对应分区的，而不是硬盘，不管是将硬盘分成一个分区，还是几个分区。 这里打个比喻，一块硬盘就像一块空地，文件就像不同的材料，我们首先得在空地上建起仓库（分区），并且指定好（格式化）仓库对材料的管理规范（文件系统），这样才能将材料运进仓库保管。文件不会受所在分区的文件系统影响，就像同样是汽车轮胎在A仓库可能直接堆在地上，而在B仓库则会挂在墙上，仅仅是放置和管理方法不同而已，因此，在NTFS分区和FAT32分区的文件可以随意在分区间移动，内容不会因此产生任何不同。 NTFS格式介绍 NTFS的英文全称为“NT FileSystem”，中文意为NT文件系统。它随着1996年7月的Windows NT 4.0诞生，但直到Windows 2000，它才开始在个人用户中间得以推广，跨入了主力分区文件系统的行列。 NTFS格式的优点 一．具备错误预警的文件系统 在NTFS分区中，最开始的16个扇区是分区引导扇区，其中保存着分区引导代码，接着就是主文件表（Master File Table，以下简称MFT），但如果它所在的磁盘扇区恰好出现损坏，NTFS文件系统会比较智能地将MFT换到硬盘的其他扇区，保证了文件系统的正常使用，也就是保证了Windows的正常运行。而以前的FAT16和FAT32的FAT（文件分配表）则只能固定在分区引导扇区的后面，一旦遇到扇区损坏，整个文件系统就要瘫痪。 这种智能移动MFT的做法并非十全十美，如果分区引导代码中指向MFT的部分出现错误，那么NTFS文件系统便会不知道到哪里寻找MFT，从而会报告“磁盘没有格式化”这样的错误信息。为了避免这样的问题发生，分区引导代码中会包含一段校验程序，专门负责侦错。 二．文件读取速度更高效 NTFS在文件处理速度上也比FAT32大有提升。 在NTFS文件系统中，文件的各种属性：只读、隐藏、系统等这些属性都还存在，但有了很大不同。在这里，一切东西都是一种属性，就连文件内容也是一种属性。这些属性的列表不是固定的，可以随时增加，这也就是为什么你会在NTFS分区上看到文件有更多属性的原因（如下图）。 NTFS文件系统中的文件属性可以分成两种：常驻属性和非常驻属性，常驻属性直接保存在MFT中，像文件名和相关时间信息（例如创建时间、修改时间等）永远属于常驻属性，非常驻属性则保存在MFT之外，但会使用一种复杂的索引方式来进行指示。如果文件或文件夹小于1500字节（其实我们的电脑中有相当多这样大小的文件或文件夹），那么它们的所有属性，包括内容都会常驻在MFT中，而MFT是Windows一启动就会载入到内存中的，这样当你查看这些文件或文件夹时，其实它们的内容早已在缓存中了，自然大大提高了文件和文件夹的访问速度。 三．磁盘自我修复功能 NTFS可以对硬盘上的逻辑错误和物理错误进行自动侦测和修复。 每次读写时，它都会检查扇区正确与否。当读取时发现错误，NTFS会报告这个错误；当向磁盘写文件时发现错误，NTFS将会十分智能地换一个完好位置存储数据，操作不会受到任何影响。在这两种情况下，NTFS都会在坏扇区上做标记，以防今后被使用。这种工作模式可以使磁盘错误较早地被发现，避免灾难性的事故发生。 这就是为什么当把磁盘转换为NTFS文件系统后，用磁盘扫描程序就很难发现磁盘错误的原因。 四．“防灾赈灾”的事件日志功能 在NTFS文件系统中，任何操作都可以被看成是一个“事件”。比如将一个文件从C盘复制到D盘，整个复制过程就是一个事件。事件日志一直监督着整个操作，当它在目的地—D盘发现了完整文件，就会记录下一个“已完成”的标记。假如复制中途断电，事件日志中就不会记录“已完成”，NTFS可以在来电后重新完成刚才的事件。事件日志的作用不在于它能挽回损失，而在于它监督所有事件，从而让系统永远知道完成了哪些任务，哪些任务还没有完成，保证系统不会因为断电等突发事件发生紊乱，最大程度降低了破坏性。 五．NTFS的附加功能 NTFS提供了磁盘压缩、数据加密、磁盘配额（在“我的电脑”中右击分区并选择“属性”，进入“配额”选项卡即可设置）、动态磁盘管理等功能。 NTFS提供了为不同用户设置不同访问控制、隐私和安全管理功能。如果你的系统处于一个单机环境，比如家用电脑，那么这些功能对你意义不是很大。 六．为什么FAT的效率不如NTFS高 FAT文件系统的文件分配表只能列出了每个文件的名称及起始簇，并没有说明这个文件是否存在，需要通过其所在文件夹的记录来判断，而文件夹入口又包含在文件分配表的索引中。因此在访问文件时，首先要读取文件分配表来确定文件已经存在，然后再次读取文件分配表找到文件的首簇，接着通过链式的检索找到文件所有的存放簇，最终确定后才可以访问。 七．从FAT转换过来的NTFS，性能有折扣 如果分区是从FAT32转换为NTFS文件系统的（使用命令为“CONVERT驱动器盘符/FS:NTFS”），不仅MFT（主文件分配表）会很容易出现磁盘碎片，更糟糕的是，磁盘碎片整理工具往往不能整理这个分区中的MFT，严重影响系统性能。因此，建议将分区直接格式化为NTFS文件系统。

7. 如何实现日志的集中化存储以及使用loganalyzer做日志分析

日志记录的是，我们操作系统或某个服务或某个软件在运行过程当中所产生事件信息的，这对于我们后续分析系统比较有价值。
比如，某个服务在运行过程中出现故障了，就可以查看该服务的日志信息，分析日志找出服务出现故障的原因所在。
如：我们使用【yum】工具安装软件，系统都会把程序yum做的操作记录到日志里。
如果，我们管理的不是一台主机，每台主机的日志信息都是单独存放的，如果要分析报告当前所有主机的的所有服务的过去某一时间段运行状态，我们则要逐一查看每一台主机的日志文件了。这很不方便。不利于使用一些日志分析工具来分析日志。所以我们要做日志的集中化存储。意思是说：把所有主机产生日志信息发往日志服务器，由日志服务器帮助众多需要存储日志数据的主机存储日志数据。
存储日志数据有两种方式：
1、使用文件存储日志数据
2、把日志信息存储到数据库里

8. 如何设计日志采集存储分析的架构

Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模式），exec（命令执行）等数据源上收集数据的能力。 Flume采用了多Master的方式。为了保证配置数据的一致性，Flume引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据发生变化时，ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 设计目标： (1) 可靠性 (2) 可扩展性 3) 可管理性 (4) 功能可扩展性

9. 海量日志数据存储用 elasticsearch 和 hbase 哪个好

hbase面向列非常好加字段的！
es适合搜索和分析小规模数据，速度快过hbase。
hbase稳定可靠，而且可以通过mr spark等大批量拉取数据。

10. 什么样的存储系统适合存储用户日志

用户日志这种数据量不是很大的，基本存储都能支持