可是要完成这么一个宏伟而艰巨而庞大的目标，工作量是可想而知的，但是，杨小乐坚信，如果只是从某一个项目开始进入人工智能的研发，然后在逐步完善、改进、进而形成成熟的理论基础，以此类推，当各个项目都完善后，再组装整合起来，再进行下一步的公关，成功是有希望的。
那么，从哪一个项目入手呢？
人类的大脑就像有程序一样，一直在不断循环地工作着，眼睛和耳朵，是我们判断周围环境的重要依靠，从而根据不同环境的声音和图像，指挥身体做出不同的反应和动作。
因此，首先要涉及的项目肯定跟眼睛和耳朵有关，也就是视觉系统和听觉系统，前者目前摄像器件还不成熟，暂时不用考虑。
目前最适合的就是听觉系统了。
那么，人类的听觉系统是怎么工作的呢？
当声波碰击倒耳廓，便会被反射和减弱，这些改变提供了额外的讯息去帮助脑部确定声音来临的方向。声波进入耳道，一个看似很简单的管，耳道会放大在3至12千赫之间的声音。在耳道末端的是鼓膜，它标记着中耳的起点。
在耳道传送的声波会碰击到耳膜或鼓膜。这些波讯息通过一系列幼细的骨头—锤骨(锤)、砧骨(砧)和镫骨(镫)在充满空气的中耳腔传送。这些小骨扮演着杠杆和电报交换器的角色，把低压的鼓膜声音振动转换成高压声音振动在另一个，更小的薄膜叫卵圆窗。更高的压力是必要的，因为在卵圆窗之外的内耳包含的是分泌液而不是空气。经过听骨链的声音并非平均地被放大。中耳肌肉的听觉反射帮助保护内耳免受损伤。中耳仍然以波形式包含声音资讯，然后声音资讯会在耳蜗被转换成神经冲动。
内耳包含耳蜗和几个非听觉的结构。耳蜗由三个充满淋巴液的空腔组成，并支持分泌液波被压力驱使横跨基底膜分离两部分。明显地，一部分叫耳蜗管或[蜗管]]，包含一种与内淋巴(通常在细胞里面的)成分相似的细胞外液。柯蒂氏器形成一缎知觉上皮，它纵长向下整个耳蜗。柯蒂氏器的毛细胞把分泌液波变换成神经信号。十亿根神经的行程的第一步就在这里开始，从这里进一步带到一系列广泛的听觉反应和知觉。
毛细胞是柱状的细胞，每个上面都有100－200束特有的纤毛。这些纤毛是听力的机械感应器。轻微静止在最长的纤毛上面的是覆膜，它以每个声音周期来前后移动，倾斜纤毛，并允许电流进入毛细胞。毛细胞，就像眼睛的光感受器，它显示的不是其它神经元的动作电位的表现特征，而是其等级反应。这些被等级反应不被动作电位的“所有或没有任何”特点限制。这时，你也许问多少摆动的头发会触发在膜潜力上的差别。当前的模型是，纤毛以“顶尖连接”（连接一纤毛顶尖到另一个一纤毛顶尖的结构）来互相依附着另一个。伸展和压缩顶尖连接会打开一个离子通道和导致在毛细胞上产生感受器电位。
耳蜗里，毛细胞远比传入神经纤维少。受神经支配耳蜗的神经是前庭耳蜗神经，或脑神经viii。神经细胞的树状突受神经支配耳蜗毛细胞。神经传送体本身被认为是谷氨酸。在神经原突触前的会合处，有一个分明\"神经原突触前的\"密集体\"或带。这密集体被突触神经泡围绕，并被认为帮助快速释放神经传送体。由脑部到耳蜗的传出投射也充当着声音感知的角色。传出突触发生在外毛细胞的和内毛细胞之下的输入树状突。
这些声音的资讯，现在重新被编码，透过部分的脑干(例如，耳蜗核和下丘)沿着听觉神经移下，进一步在各个小站被处理。资讯最终到达丘脑，并且从那里它被传递到脑皮层。
那么，作为仿生学的人工智能，就需要用电子元件来实现声音的采集、传输、编码、转换和译码，然后以显示屏来代替大脑的感知来显示收集到的声音所代表的文字或物体。
另外，代替大脑感知的还应该有一个芯片或芯片组，来分析和处理所听到的声音中，那些是需要过滤掉的，哪些是需要送到下一个部件进行具体处理的。
如果，杨小乐能将这个听觉系统设计得如同设想的一样，那么就标志着他已经踏进了人工智能的殿堂，因为，语言就是一个具备模糊和不确定、并且阻扰机器智能化的因素之一。
就比如，我们平常聊天时一样，我们把别人说的话经耳朵送入大脑后，经大脑分析和思考之后，确定哪些词我们需要注意、并回答，哪些可以忽略。
所以，如何将人说的话，通过声电转换，再编码成一定格式的数据流，然后在芯片或芯片组中译码还原，并与数据库中的数据进行比对，提取出对应的字库，一路送到显示屏进行显示，另一路送到逻辑分析电路，对这句句话进行分析，以判断是否需要对这句话进行处理。
那么，问题就来了，声电转换之后，编成什么样的格式？芯片或芯片组能用现成的cpu芯片吗？需要对应的操作系统吗？数据库怎么建立？字库是硬件化还是软件化？怎么设计逻辑分析电路？是用cpu加操作系统还是另外设计？
杨小乐躺在床上，越想越头疼，越想越是勇气不足。
前世的机器人听觉系统主要是对人的声音进行语音识别并做出判断，然后输出相应的动作指令控制头部和手臂的动作，传统的机器人听觉系统一般是以pc机为平台对机器人进行控制，其特点是用一台计算机作为机器人的信息处理核心通过接口电路对机器人进行控制，虽然处理能力比较强大，语音库比较完备，系统更新以及功能拓展比较容易，但是比较笨重，不利于机器人的小型化和复杂条件下进行工作，此外功耗大、成本高。
小型化和复杂条件下工作的机器人的听觉系统，在前世基本上都是由于微型处理器性能的提高促进了机器人的迅速发展,特别是大存储量及高速运算dsp处理芯片的出现使机器人在脱机状态下,独立完成复杂的语音信号处理和动作指令成为可能。
因此数字信号处理dsp的出现，简化了机器人听觉系统的电路结构，只有四个组件就构成了听觉系统：麦克风、语音处理芯片、dsp芯片和数据库（flash）芯片，而听觉系统的大脑就是fpga芯片。
也就是说，听觉系统的系统硬件分为语音信号的采集和播放，基于dsp的语音识别，fpga动作指令控制、步进电机及其驱动、dsp外接（flash也叫闪存）闪存芯片，jtag口仿真调试和键盘控制几个部分。
而工作流程是麦克风将人的语音信号转化为模拟信号，在经过音频芯片量化转化成数字信号输入dsp.dsp完成识别后，输出动作指令。
fpga根据dsp输入的动作指令产生正确的正反转信号和准确的脉冲给步进电机驱动芯片，驱动芯片提供步进电机的驱动信号，控制步进电机的转动。片外flash用于存储系统程序和语音库并完成系统的上电加载。jtag口用于与pc机进行联机在线仿真，键盘则用于参数调整和功能的切换。
这里的dsp芯片主要就是作为语音识别处理器，它具有较快的处理速度，可以使机器人在脱机状态下，独立完成复杂的语音信号处理和动作指令控制。
而fpga系统的开发降低了时序控制电路和逻辑电路在pcb板所占的面积，使机器人的\"大脑\"的语音处理部分实现了微型化、低功耗。
因此，一个体积小、低功耗、高速度能完成特定范围语音识别和动作指令的机器人系统的研制具有很大的实际意义。
而dsp芯片在前世最早出现于1978年，而在dsp出现之前数字信号处理只能依靠微处理器来完成。
但由于微处理器较低的处理速度不快，根本就无法满足越来越大的信息量的高速实时要求，因此应用更快更高效的信号处理方式成了日渐迫切的社会需求。
到了70年代，有人提出了dsp的理论和算法基础，但那时的dsp仅仅停留在教科书上，即使是研制出来的dsp系统也是由分立元件组成的，其应用领域仅局限于军事、航空航天部门。
一般认为，世界上第一个单片dsp芯片是1978年ami公司发布的s2811。1979年美国intel公司发布的商用可编程器件2920是dsp芯片的一个主要里程碑。这两种芯片内部都没有现代dsp芯片所必须有的单周期乘法器。1980年，日本nec公司推出的mpd7720是第一个具有硬件乘法器的商用dsp芯片，从而被认为是第一块单片dsp器件。