无埋点统计SDK实践

10,702 阅读8分钟

背景

埋点模块是一个完整的系统不可获取的一部分,无论是移动端,Web端还是后端(后端可能倾向于叫日志系统)。当然,现在也有很多第三方的埋点SDK,如友盟,接入也很简单,只需要几行代码即可使用。但大多都是侵入式,也就是说,在每个需要埋点的地方手动添加代码,这样耦合性太大,虽然可通过二次封装的方式,降低对这些SDK的依赖,但埋点统计模块耦合性仍然很大,为了解决这个问题,我们可通过无埋点方案来实现数据的收集过程。

埋点系统类型

目前的埋点系统,主要分为2种:侵入式和无埋点。还有一种可视化的埋点方案,可认为是无埋点的一种,只是将设置埋点配置信息的过程做成了可视化而已。

侵入式埋点方案

在每个需要埋点的地方手动添加代码,优点是埋点准确,缺点也很明显,代码耦合度高,后期难以维护,不需要的埋点需要手动删除。

无埋点方案

无埋点方式是通过全局监听或AOP技术添加埋点的一种实现方案,开发者不需要在每个需要埋点的地方添加代码,只需要根据服务器分发的配置,获取相应的埋点数据即可。一方面代码耦合度低,同时灵活度也高,埋点数据直接由服务器控制。缺点就是没有侵入式埋点精准。

需要收集的数据

埋点的主要作用就是用于统计,对于埋点系统而言,最起码需要收集以下数据:

  • 首次使用APP的新设备信息(精确控制还需要后端的配合);
  • 页面的停留时长;
  • View的交互事件(点击,滑动等);
  • 辅助运营的各种数据(渠道号,地理位置,设备信息等)

埋点系统介绍

一个完整的埋点系统,应该至少包含以下三个模块:

网络模块

负责从服务器获取配置信息,上传埋点数据;

存储模块

缓存埋点配置信息,保存产生的埋点数据;

核心处理模块

负责收集埋点数据,并保存在存储模块中,根据配置在指定的时间上传数据。

无埋点系统的工作原理

在APP启动时,对无埋点SDK进行初始化,初始化的时候系统会先从配置中设置的URL请求埋点配置信息,然后对Activity,Fragment,View进行全局监听,当有相应的事件产生时,通过与配置信息比对,将需要收集的事件先将其保存在数据库中,到上传时机时,从数据库中获取数据,然后上传到服务器,上传成功后删除数据库的已上传的内容。

无埋点系统的实现

无埋点系统的主要目标是降低开发人员对埋点过程的参与度,其核心在于如何对事件进行全局监听以及如何生成埋点配置列表。

页面停留时长的监听

Android应用中的页面,也就Activity,Fragment两种。对于Activity,系统了全局的生命周期监听的方法,只需要在onResume中记录页面显示时的时间,在onPause中计算显示的时长,在onDestroy中将停留时长事件添加到数据库即可:

application.registerActivityLifecycleCallbacks(new Application.ActivityLifecycleCallbacks() {
    
    private Map<Context, Long> durationMap = new WeakHashMap<>();
    private Map<Context, Long> resumeTimeMap = new WeakHashMap<>();
    
        @Override
	public void onActivityCreated(Activity activity, Bundle bundle) {
		durationMap.put(activity, 0L);
	}

	@Override
	public void onActivityResumed(Activity activity) {
        resumeTimeMap.put(activity, System.currentTimeMillis());
	}

	@Override
	public void onActivityPaused(Activity activity) {
        durationMap.put(activity, durationMap.get(activity)
			+ (System.currentTimeMillis() - resumeTimeMap.get(activity)));
	}
    
	@Override
	public void onActivityDestroyed(Activity activity) {
        long duration = durationMap.get(activity);
		if (duration > 0) {
			// 将事件添加到数据库
		}
		resumeTimeMap.remove(activity);
		durationMap.remove(activity);
	}
	
	// 其他生命周期方法
});

而对于Fragment,虽然com.app包中的Fragment没有提供生命周期的全局监听,但25.1.0之后的v4包中提供了全局监听,考虑到通常情况下都使用v4包中的Fragment,所以这里就直接使用了v4包中提供的方法来实现页面停留时长的监听。

FragmentManager fm = getSupportFragmentManager();
fm.registerFragmentLifecycleCallbacks(new FragmentManager.FragmentLifecycleCallbacks() {

	private Map<Fragment, Long> resumeTimeMap = new WeakHashMap<>();
	private Map<Fragment, Long> durationMap = new WeakHashMap<>();

	@Override
	public void onFragmentAttached(@NonNull FragmentManager fm, @NonNull Fragment f, @NonNull Context context) {
		super.onFragmentAttached(fm, f, context);
		resumeTimeMap.put(f, 0L);
	}

	@Override
	public void onFragmentResumed(@NonNull FragmentManager fm, @NonNull Fragment f) {
		super.onFragmentResumed(fm, f);
		resumeTimeMap.put(f, System.currentTimeMillis());
	}

	@Override
	public void onFragmentPaused(@NonNull FragmentManager fm, @NonNull Fragment f) {
		super.onFragmentPaused(fm, f);
		durationMap.put(f, durationMap.get(f) + System.currentTimeMillis() - resumeTimeMap.get(f));
	}

	@Override
	public void onFragmentDetached(@NonNull FragmentManager fm, @NonNull Fragment f) {
		super.onFragmentDetached(fm, f);
		long duration = durationMap.get(f);
		if (duration > 0) {
			// 将事件添加到数据库
		}
		resumeTimeMap.remove(f);
		durationMap.remove(f);
	}
}, true);

上面的代码只是对Fragment生命周期的监听,但Fragment的可见性与生命周期并不总是一一对应的,如:Fragment show/hide或者ViewPager中的Fragment在切换时生命周期中的方法并不总是执行的,所以还需要监听与这两种情况对应的onHiddenChanged和setUserVisibleHint,但这两个方v4包中提供的全局监听中并没有,所以还需要特殊处理一下。这里提供两种解决方案:

  • 提供一个LifycycleFragment, 对onHiddenChanged和setUserVisibleHint方法进行监听,业务层的Fragment继承此Fragment;
  • 使用AOP,监听onHiddenChanged和setUserVisibleHint;

其中的处理逻辑与onResume和onPause中一致,具体参考后面的源码。

如果要对com.app包中的Fragment实现生命周期的全局监听,可采用以下两种方式:

  • 写一个LifycycleFragment, 在其中实现生命周期的监听,业务层的Fragment实现时继承此Fragment;
  • 使用透明的Fragment,透明的Fragment由于没有UI,其生命周期会与当前Fragment生命周期一致;

由于Fragment总是依赖于Activity存在的,所以其监听范围也是Activity级别的。在Activity的onCreate中对Fragment设置监听即可。

监听View的点击事件

View点击事件的监听可通过两种方式来实现:

基于AOP监听onClick方法;

这里以Aspect为例,实现onClick的全局监听:

@Aspect
public class ViewClickedEventAspect {

	@After("execution(* android.view.View.OnClickListener.onClick(android.view.View))")
	public void viewClicked(final ProceedingJoinPoint joinPoint) {
		/**
		 * 保存点击事件
		 */
	}
}
通过setAccessibilityDelegate实现:

关于setAccessibilityDelegate我们可先看一下View点击事件被执行的源码:

public boolean performClick() {
    // We still need to call this method to handle the cases where performClick() was called
    // externally, instead of through performClickInternal()
    notifyAutofillManagerOnClick();

    final boolean result;
    final ListenerInfo li = mListenerInfo;
    if (li != null && li.mOnClickListener != null) {
        playSoundEffect(SoundEffectConstants.CLICK);
        li.mOnClickListener.onClick(this);
        result = true;
    } else {
        result = false;
    }

    sendAccessibilityEvent(AccessibilityEvent.TYPE_VIEW_CLICKED);

    notifyEnterOrExitForAutoFillIfNeeded(true);

    return result;
}

从代码中可以看出,View的onClick被执行时,有个sendAccessibilityEvent被执行,我们再看一下sendAccessibilityEvent方法的代码:

public void sendAccessibilityEvent(int eventType) {
    if (mAccessibilityDelegate != null) {
        mAccessibilityDelegate.sendAccessibilityEvent(this, eventType);
    } else {
        sendAccessibilityEventInternal(eventType);
    }
}

从代码可以看出,只需要为View设置了mAccessibilityDelegate,我们就可以监听View的onClick事件了。而设置View mAccessibilityDelegate的方法刚好是公开的,所以我们可使用此方式对View的点击事件进行监听,核心代码如下:

public class ViewClickedEventListener extends View.AccessibilityDelegate {
    
	/**
	 * 设置Activity页面中View的事件监听
	 * @param activity
	 */
	public void setActivityTracker(Activity activity) {
		View contentView = activity.findViewById(android.R.id.content);
		if (contentView != null) {
			setViewClickedTracker(contentView, null);
		}
	}

	/**
	 * 设置Fragment页面中View的事件监听
	 * @param fragment
	 */
	public void setFragmentTracker(Fragment fragment) {
		View contentView = fragment.getView();
		if (contentView != null) {
			setViewClickedTracker(contentView, fragment);
		}
	}

	private void setViewClickedTracker(View view, Fragment fragment) {
		if (needTracker(view)) {
			if (fragment != null) {
				view.setTag(FRAGMENT_TAG_KEY, fragment);
			}
			view.setAccessibilityDelegate(this);
		}
		if (view instanceof ViewGroup) {
			int childCount = ((ViewGroup) view).getChildCount();
			for (int i = 0; i < childCount; i++) {
				setViewClickedTracker(((ViewGroup) view).getChildAt(i), fragment);
			}
		}
	}

	@Override
	public void sendAccessibilityEvent(View host, int eventType) {
		super.sendAccessibilityEvent(host, eventType);
		if (AccessibilityEvent.TYPE_VIEW_CLICKED == eventType && host != null) {
			// 添加事件到数据库
		}
	}
}

然后在Activity和Fragment的onResume中添加View的监听即可。

生成埋点配置信息

事件的全局监听已经实现了,理论上APP开发人员不需要参与埋点的过程,但后台的统计并不需要所有的数据,所以这里还需要添加埋点配置信息的收集。这里提供了埋点数据实时上传的功能,在APP上线前,将数据上传策略修改成实时上传,即可将所有的事件信息通过Socket发送给后台,然后将需要的数据导入到埋点配置信息列表中,APP上线后,会从服务器获取埋点配置信息,在产生数据后,根据获取的配置信息,保存需要的数据,到指定上传时间时,将数据提交给服务器。

使用

在Application的onCreate中进行初始化即可:

TrackerConfiguration configuration = new TrackerConfiguration()
	.openLog(true)
	.setUploadCategory(Constants.UPLOAD_CATEGORY.REAL_TIME.getValue())
	.setConfigUrl("http://m.baidu.com") // 埋点配置信息的URL
	.setHostName("127.0.0.1")   // 接收实时埋点数据的IP和端口
	.setHostPort(10001)         
	.setNewDeviceUrl("http://m.baidu.com")  // 保存新设备信息的URL
	.setUploadUrl("http://m.baidu.com");    // 保存埋点数据的URL
Tracker.getInstance().init(this, configuration);

在发布版本之前,将上传策略设置成Constants.UPLOAD_CATEGORY.REAL_TIME收集埋点配置信息,APP上线时务必将数据上传策略改成其他的,避免耗电。

对于埋点数据的上传,提供了以下策略:

REAL_TIME(0),           // 实时传输,用于收集配置信息
NEXT_LAUNCH(-1),        // 下次启动时上传
NEXT_15_MINUTER(15),    // 每15分钟上传一次
NEXT_30_MINUTER(30),    // 每30分钟上传一次
NEXT_KNOWN_MINUTER(-1); // 使用服务器下发的上传策略(间隔时间由服务器决定)

说明

目前此SDK只集成了新设备信息,页面(Activity/Fragment)的停留事件,View的点击事件的统计,对于其他的交互事件还未集成,一些细节方面也还有待改进,随后会进一步完善。

源码地址

Tracker

参考文章

Android埋点技术分析

Android无埋点数据收集SDK关键技术

网易HubbleData之Android无埋点实践