v2.7.0 "SANS DFIR Summit Release"

🦅 New Features:

• Certain code numbers are now mapped to human-readable messages based on the .yaml config files in ./rules/config/data_mapping. (Example: %%2307 will be converted to ACCOUNT LOCKOUT). You can turn off this behavior with the -F, --no-field-data-mapping option. (#177) (@fukusuket)
• Added the -R, --remove-duplicate-data option in the csv-timeline command to replace duplicate field data with the string DUP in the %Details%, %AllFieldInfo%, %ExtraFieldInfo% columns to reduce file size. (#1056) (@hitenkoku)
• Added the -R, --remove-duplicate-data option to the json-timeline command to replace duplicate field data with the string DUP in the %Details%, %AllFieldInfo%, %ExtraFieldInfo% fields to reduce file size. (#1134) (@hitenkoku)
• Added the -P, --proven-rules option in csv-timeline and json-timeline commands. When used, Hayabusa will only load rules that have been proven to work. These are defined by rule ID in the ./rules/config/proven_rules.txt config file. (#1115) (@hitenkoku)
• Added the --include-tag option to csv-timeline and json-timeline commands to only load rules with the specified tags field. (#1108) (@hitenkoku)
• Added the --exclude-tag option to csv-timeline and json-timeline commands to exclude rules with specific tags from being loaded. (#1118) (@hitenkoku)
• Added --include-category and --exclude-category options to csv-timeline and json-timeline commands. When using --include-category, only rules with the specified category field will be loaded. --exclude-category will exclude rules from being loaded based on category. (#1119) (@hitenkoku)
• Added the computer-metrics command to list up how many events there are based on computer name. (#1116) (@hitenkoku)
• Added --include-computer and --exclude-computer options to csv-timeline, json-timeline, metrics, logon-summary and pivot-keywords-list commands. The --include-computer option only scans the specified computer(s). --exclude-computer excludes them. (#1117) (@hitenkoku)
• Added --include-eid and --exclude-eid options to csv-timeline, json-timeline, and pivot-keywords-list commands. The --include-eid option only scans the specified EventID(s). --exclude-eid excludes them. (#1130) (@hitenkoku)

🦅 Enhancements:

• Ignore corrupted event records with timestamps before 2007/1/31 when Windows Vista was released with the new .evtx log format. (#1102) (@fukusuket)
• When --output is set in the metrics command, the results will not be displayed to screen. (#1099) (@hitenkoku)
• Added the -C, --clobber option to overwrite existing output files in the pivot-keywords-list command. (#1125) (@hitenkoku)
• Renamed the metrics command to eid-metrics. (#1128) (@hitenkoku)
• Reduced progress bar width to leave room for adjustment of the terminal. (#1135) (@hitenkoku)
• Added support for outputing timestamps in the following formats in the search command: --European-time, --ISO-8601, --RFC-2822, --RFC-3339, --US-time, --US-military-time, -U, --UTC. (#1040) (@hitenkoku)
• Replaced the ETA time in the progress bar with elapsed time as the ETA time was not accurate. (#1143) (@YamatoSecurity)
• Added --timeline-start and --timeline-end to the logon-summary command. (#1152) (@hitenkoku)

🐛 Bug Fixes:

• The total number of records being displayed in the metrics and logon-summary commands differed from the csv-timeline command. (#1105) (@hitenkoku)
• Changed rule count by rule ID instead of path. (#1113) (@hitenkoku)
• --timeline-start and --timeline-end were not working correctly with the json-timeline command. (#1148) (@hitenkoku)
• --timeline-start and --timeline-end were not working correctly with the pivot-keywords-list command. (#1150) (@hitenkoku)

Other:

• The total count of unique detections are now based on rule IDs instead of rule file paths. (#1111) (@hitenkoku)
• Renamed the --live_analysis option to --live-analysis. (#1139) (@hitenkoku)
• Renamed the metrics command to eid-metrics. (#1128) (@hitenkoku)

変更点

🦅 新機能:

• ./rules/config/data_mappingにある.yaml設定ファイルに基づいて、特定のコード番号が人間が読めるメッセージにマッピングされるようになった。(例:%%2307は、ACCOUNT LOCKOUTに変換される)。この動作は-F, --no-field-data-mappingオプションで無効にできる。(#177) (@fukusuket)
• csv-timelineコマンドに-R, --remove-duplicate-dataオプションを追加し、%Details%、%AllFieldInfo%、%ExtraFieldInfo%列の重複フィールドデータをDUPという文字列に変換し、ファイルサイズの削減を行う。(#1056) (@hitenkoku)
• json-timelineコマンドに-R, --remove-duplicate-dataオプションを追加し、%Details%、%AllFieldInfo%、%ExtraFieldInfo%フィールドの重複フィールドデータをDUPという文字列に変換し、ファイルサイズの削減を行う。(#1134) (@hitenkoku)
• csv-timelineとjson-timelineコマンドに-P, --proven-rulesオプションを追加した。有効にすると、検知が証明されたルールしかロードされない。ロードされるルールは、./rules/config/proven_rules.txtの設定ファイルにルールIDで定義されている。 (#1115) (@hitenkoku)
• csv-timelineとjson-timelineコマンドに--include-tagオプションを追加し、指定したtagsフィールドを持つルールのみをロードするようにした。(#1108) (@hitenkoku)
• csv-timelineとjson-timelineコマンドに--exclude-tagオプションを追加し、指定したtagsフィールドを持つルールをロードしないようにした。(#1118) (@hitenkoku)
• csv-timelineとjson-timelineコマンドに--include-categoryと--exclude-categoryオプションを追加した。include-categoryは、指定されたcategoryフィールドのルールのみをロードする。--exclude-categoryは、指定されたcategoryフィールドを持つルールをロードしない。 (#1119) (@hitenkoku)
• コンピュータ名に基づくイベント数をリストアップするcomputer-metricsコマンドを追加した。(#1116) (@hitenkoku)
• csv-timeline、json-timeline、metrics、logon-summary、pivot-keywords-listコマンドに--include-computerと--exclude-computerオプションを追加した。include-computerは、指定されたcomputerの検知のみを出力する。--exclude-computerは、指定されたcomputerの検知を除外する。 (#1117) (@hitenkoku)
• csv-timeline、json-timeline、pivot-keywords-listコマンドに--include-eidと--exclude-eidオプションを追加した。include-eidは、指定されたEventIDのみを検知対象とする。--exclude-eidは、指定されたEventIDを検知対象から除外する。 (#1130) (@hitenkoku)

🦅 改善:

• 新しいログ形式の.evtxを使用するWindows Vistaがリリースされた2007年1月31日以前のタイムスタンプを持つ破損されたイベントレコードを無視するようにした。(#1102) (@fukusuket)
• metricsコマンドで--outputオプションを指定した時に標準出力に結果を表示しないように変更した。 (#1099) (@hitenkoku)
• csv-timeline コマンドと json-timeline コマンドに --tags オプションを追加し、指定した tags フィールドを持つルールのみでスキャンできるようにした。(#1108) (@hitenkoku)
• pivot-keywords-listコマンドに対して、出力ファイルを上書きするための-C, --clobberオプションを追加した。 (#1125) (@hitenkoku)
• metricsコマンドをeid-metricsに変更した。 (#1128) (@hitenkoku)
• 端末の調整に余裕を持たせるため、プログレスバーの幅を減らした。 (#1135) (@hitenkoku)
• searchコマンドで出力時間フォーマットのオプションをサポートした。(--European-time, --ISO-8601, --RFC-2822, --RFC-3339, --US-time, --US-military-time, -U, --UTC) (#1040) (@hitenkoku)
• プログレスバーのETA時間が正確でなかったため、経過時間に置き換えた。 (#1143) (@YamatoSecurity)
• logon-summaryコマンドで--timeline-startと--timeline-endオプションを追加した。 (#1152) (@hitenkoku)

🐛バグ修正:

• metricsとlogon-summaryコマンドのレコード数の表示がcsv-timelineのコマンドでのレコード数の表示と異なっている状態を修正した。 (#1105) (@hitenkoku)
• パスの代わりにルールIDでルール数を数えるように変更した。 (#1113) (@hitenkoku)
• json-timelineコマンドで--timeline-startと--timeline-endオプションが動作しなかったのを修正した。 (#1148) (@hitenkoku)
• pivot-keywords-listコマンドで--timeline-startと--timeline-endオプションが動作しなかったのを修正した。 (#1150) (@hitenkoku)

その他:

• ルールのIDベースでユニークな検出数をカウントするように修正した。 (#1111) (@hitenkoku)
• --live_analysisオプションを--live-analysisに変更した。 (#1139) (@hitenkoku)
• metricsコマンドをeid-metricsに変更した。 (#1128) (@hitenkoku)