生体の神経回路の形態や計算原理の合理性に学び、それを電子回路で模倣して、システムを設計するニューロモフィック・エンジニアリング (Neuromorphic Engineering)と呼ばれる分野が1980 年頃に創成されました[1]。初期の研究では、MOS トランジスタ回路によって、ワンチップ上に神経回路の電気的接続と演算機能を再現し、物理現象をそのまま演算に利用することで、最小のエネルギーで処理を実行するアナログ集積回路チップの開発が行われました。そこでは視覚や聴覚などの感覚系の神経回路や無脊椎動物が有する単純な神経回路を模倣したアナログ集積回路チップが複数の研究室で開発された (総説として[1-4]) が、中でも大きな成功をおさめた研究の一つとして、シリコン網膜[5-12]の開発が挙げられます。シリコン網膜は、生体の網膜の合理的な構造に学んで、非常に効率よく空間フィルタ処理画像を取得できる画像センサです(情報処理機能を内蔵する画像センサを視覚センサと呼ぶこともある)。この成功は、それまでに積み上げられてきた生体の網膜の構造やその電気的特性に関する生理学的研究[13-18]の知見に基づいて達成されました。
日本の研究グループによって開発されたシリコン網膜はその後、後段に追加のアナログ回路や制御用・処理用デジタル回路を配することで、視細胞の受光特性を模した順応型視覚センサ[19]や、後段の視覚野の神経回路を模した方位選択性チップ[20]や色恒常機能の実現[21]、そして二つのカメラを用いた両眼視差検出システム[22]へと発展しました。一方で、スイス連邦工科大学やスタンフォード大学を中心とした欧米のグループでは従来のデジタル画像の中には空間的・時間的に冗長な情報が含まれているとし、その変化分だけをアドレス・イベント表現(Address-Event Representation ; AER) と呼ばれる手法で受け手側の計算機システムに送信するイベントドリブン型視覚センサを開発してきました[23]。
生体模倣型視覚センサを用いた応用もまた提案されており、例えばロボットの両眼シス
テムによるナビゲーション、行動モニタリング、転倒検出[24]、ペン立て制御[25]、ゴールキーパーロボット[26]、神経補綴のための実時間シミュレータ[27]などのセンサシステムが研究・開発されてきました。
ここでは初学者におすすめの本(ニューロモフィック・センサーを中心として)を紹介します。
1. アナログVLSIと神経システム (アジソンウェスレイ・トッパン情報科学シリーズ)
Analog VLSI and Neural Systems (Addison-Wesley VLSI Systems Series) 1989/5 Carver Mead
2. Analog VLSI: Circuits and Principles (MIT Press) – 2002/9/27 Carver A. Mead, Shih-Chii Liu, Joerg Kramer Giacomo Indiveri Tobias Delbrueck, Rodney Douglas
3. Event-Based Neuromorphic Systems 2015/2/16 Shih-Chii Liu, Tobi Delbruck, Giacomo Indiveri, Adrian Whatley, Rodney Douglas
4. 理工学系からの脳科学入門 – 2008/8 合原 一幸, 神崎 亮平
5. 感覚情報処理 (ME教科書シリーズ) – 2004/2/1 安井 湘三, 日本エムイー学会
6. システムとしての脳 (シリーズ・脳研究への出発) 榊原 学, 吉岡 亨
(総説)
1. 神経回路を模倣したアナログ集積視覚チップの研究動向
https://www.jstage.jst.go.jp/article/jnns/10/2/10_2_62/_article/-char/ja/
2. ニューロモルフィック工学·脳型機械学習ハードウェアの行方https://www.jstage.jst.go.jp/article/jnns/22/4/22_162/_article/-char/ja/
3. 脳型コンピュータハードウェア:進展・停滞と期待
https://www.jstage.jst.go.jp/article/jnns/22/4/22_149/_pdf
4. 日本における脳型コンピュータ研究の再興に向けて
https://www.jstage.jst.go.jp/article/essfr/9/2/9_92/_article/-char/ja/
(参考文献)
[1] Mead, C, Analog VLSI and Neural Systems, Addison-Wesley, 1989.
[2] Moini, A, Vision chips, Kluwer Academic Publishers, 2000.
[3] Liu, S. C., Delbruck, T., Kramer, J., Indiveri, G., and Douglas, R, Analog VLSI: Circuits and Principles, MIT press, 2002.
[4] Liu, S. C., Delbruck, T., Indiveri, G., Whatley, A., and Douglas, R. Event-Based Neuromorphic Systems, John Wiley & Sons, 2015.
[5] Mead, C. A., and Mahowald, M. A., “A silicon model of early visual processing,” Neural networks, vol. 1, no. 1, pp. 91–97, 1988.
[6] Boahen, K. A., and Andreou, A. G., “A contrast sensitive silicon retina with reciprocal synapses,” Advances in Neural Information Processing Systems (NIPS), vol. 4, pp. 764-772, 1992.
[7] Matsumoto, T., Shimmi, T., Kobayashi, H., Abidi, A., Yagi, T., and Sawaji, T., “A second order regularization vision chip for smoothing-contrast enhancement,” Proc IJCNN Beijing, pp. 188-197, 1992.
[8] Koch, C., and Mathur, B., “Neuromorphic vision chips,” IEEE Spectrum, vol. 33. No. 5, pp. 38-46, 1996.
[9] Wu, C. Y., and Chiu, C. F., “A new structure of the 2-D silicon retina,” Solid- State Circuits, IEEE Journal of, vol. 30, no. 8, pp. 890-897, 1995.
[10] Park, D. S., Kim, J. H., Kim, H. S., Park, J. H., Shin, J. K., and Lee, M., “A foveated-structure CMOS retina chip for edge detection with local light adaptation,” Sensors and Actuators A: Physical, vol. 108, no. 1, pp. 75-80, 2003.
[11] Kameda, S., and Yagi, T., “An analog VLSI chip emulating sustained and transient response channels of the vertebrate retina,” Neural Networks, IEEE Transactions on, vol. 14, no. 5, pp. 1405-1412, 2003.
[12] Shimonomura, K., Kameda, S., Iwata, A., and Yagi, T, “Wide-dynamic-range APS-based silicon retina with brightness constancy,” Neural Networks, IEEE Transactions on, vol. 22, no. 9, pp. 1482-1493, 2011.
[13] Naka, K. I., and Rushton, W. A. H., “The generation and spread of Spotentials
in fish (Cyprinidae),” The Journal of physiology, vol. 192, no. 2, pp. 437-
461, 1967.
[14] Kaneko, A., “Receptive field organization of bipolar and amacrine cells in the
goldfish retina,” The Journal of physiology, vol. 235, no. 1, pp. 133-153, 1973.
[15] Lamb, T. D., “Spatial properties of horizontal cell responses in the turtle
retina”, The Journal of physiology, vol. 263, no. 2, pp. 239–255, 1976.
[16] Lamb, T. D., and Simon, E. J, “The relation between intercellular coupling and
electrical noise in turtle photoreceptors,” The Journal of physiology, vol. 263, no. 2,
257-286, 1976.
[17] Yagi, T., Ariki, Y. and Funahashi, Y. “Dynamic model of dual layer neural
network for vertebrate retina,” In Neural Networks, 1989. IJCNN., International
Joint Conference on, pp. 787-789, 1989.
[18] Yagi, T., Ohshima, S., and Funahashi, Y., “The role of retinal bipolar cell in early vision: an implication with analogue networks and regularization theory,” Biological cybernetics, vol. 77, no. 3, pp. 163-171, 1997.
[19] Okuno, H., and Yagi, T, “Image sensor system with bio-inspired efficient coding and adaptation,” IEEE transactions on biomedical circuits and systems, vol. 6, no. 4, pp. 375-384, 2012.
[20] Shimonomura, K., and Yagi, T. “Neuromorphic VLSI vision system for real-time texture segregation,” Neural Networks, vol. 21, no. 8, pp. 1197-1204, 2008.
[21] Shimonomura, K., Kushima, T., and Yagi, T., “Binocular robot vision emulating disparity computation in the primary visual cortex,” Neural Networks, vol. 21, no. 2, pp. 331-340, 2008.
[22] Shimonomura, K., and Yagi, T., “Vision sensor with brightness constancy: towards neuromorphic color vision,” The Neuromorphic Engineer, 2008.
[23] Lichtsteiner, P., Posch, C., and Delbruck, T., “A 128 × 128 120 dB 15 μs latency asynchronous temporal contrast vision sensor,” IEEE journal of solid-state circuits, vol. 43, no. 2, pp. 566-576, 2008.
[24] Fu, Z., Culurciello, E., Lichtsteiner, P., and Delbruck, T., “Fall detection using an address-event temporal contrast vision sensor,” In 2008 IEEE International Symposium on Circuits and Systems, pp. 424-427, 2008.
[25] Conradt, J., Cook, M., Berner, R., Lichtsteiner, P., Douglas, R. J., and Delbruck, T., “A pencil balancing robot using a pair of AER dynamic vision sensors,” In 2009 IEEE International Symposium on Circuits and Systems, pp. 781-784, 2009.
[26] Delbruck, T., and Lang, M., “Robotic goalie with 3 ms reaction time at 4% CPU load using event-based dynamic vision sensor,” Frontiers in Neuroscience, vol. 7, no. 223, 2013.
[27] Fehervari, T., Matsuoka, M., Okuno, H., and Yagi, T., “Real-time simulation of phosphene images evoked by electrical stimulation of the visual cortex,” In International Conference on Neural Information Processing, Springer Berlin Heidelberg, pp. 171-178, 2010.